- •Информатика теоретические основы информатики
- •Курс: информатика
- •Оглавление
- •Дидактический план
- •Тематический обзор
- •1. Информатика как наука и как вид практической деятельности
- •1.1. Основные понятия информатики. Информационный ресурс
- •1.1.1. Объект и предмет информатики
- •1.1.2. Структура современной информатики
- •1.1.3. Информационные ресурсы
- •1.2. История развития информатики
- •1.3. Место информатики в ряду других фундаментальных наук
- •1.4. Информационные технологии
- •1.5. Социально-экономические аспекты информационных технологий
- •1.6. Правовые и этические аспекты информационных технологий
- •2. Информация
- •2.1. Понятие информации. Носители информации. Сигналы
- •2.2. Измерение информации. Энтропия. Количество информации
- •2.2.1. Структурная мера информации
- •2.2.2. Статистическая мера информации
- •2.2.3. Семантическая мера информации
- •2.3. Свойства информации
- •3. Теоретические аспекты обработки информации
- •3.1. Абстрактные автоматы и понятие алгоритма. Программное управление
- •3.1.1. Понятие алгоритма
- •3.1.2. Формализация алгоритма. Абстрактные автоматы
- •3.2. Обработка аналоговой и цифровой информации. Кодирование информации
- •3.3. Системы счисления. Методы перевода чисел из одной системы счисления в другую
- •3.3.1. Основные понятия
- •Некоторые системы счисления
- •3.3.2. Двоичная система счисления
- •3.3.3. Восьмеричная и шестнадцатеричная системы счисления
- •Соответствие чисел в различных системах счисления
- •3.4. Устройства обработки информации и их характеристики
- •3.4.1. Краткая история развития устройств обработки информации
- •3.4.2. Классическая архитектура эвм
- •3.4.3. Характеристика основных блоков эвм
- •3.4.4. Основной цикл работы эвм
- •3.4.5. Накопители информации
- •3.4.6. Внешние устройства эвм
- •4. Автоматизированные информационные системы (аис)
- •4.1. Классификация аис
- •4.2. Информационный процесс в автоматизированных системах. Фазы информационного цикла и их модели
- •4.2.1. Этапы информационного процесса в аис
- •4.2.2. Сбор и преобразование информации
- •4.2.3. Передача информации
- •4.2.4. Обработка информации
- •Задания для самостоятельной работы
- •1. В следующей таблице в правом столбце запишите, что означают аббревиатуры, приведенные в левом столбце:
- •2. Сгруппируйте нижеперечисленные аис следующим образом:
- •3. Преобразуйте аналоговый сигнал X(t) в двоичный вид:
- •4. Вставьте в текст пропущенные термины:
- •5. Заполните таблицы сложения и умножения в шестеричной системе счисления:
- •6. Вычеркните неверные предложения:
- •9. О чем идет речь?
- •10. Вставьте в текст пропущенные термины:
- •11. О чем идет речь?
- •12. Вставьте пропущенные названия элементов в схеме:
- •13. Вставьте пропущенные названия элементов в схеме:
2.2.2. Статистическая мера информации
В статистической теории информации вводится более общая мера количества информации, в соответствии с которой рассматривается не само событие, а информация о нем. Этот вопрос глубоко проработан К. Шенноном в работе “Избранные труды по теории информации”. Если появляется сообщение о часто встречающемся событии, вероятность появления которого близка к единице, то такое сообщение для получателя малоинформативно. Столь же малоинформативны сообщения о событиях, вероятность появления которых близка к нулю.
События можно рассматривать как возможные исходы некоторого опыта, причем все исходы этого опыта составляют полную группу событий. К. Шеннон ввел понятие неопределенности ситуации, возникающей в процессе опыта, назвав ее энтропией. Энтропия полной группы событий есть количественная мера ее неопределенности и, следовательно, информативности, количественно выражаемая как средняя функция множества вероятностей каждого из возможных исходов опыта. Иными словами, количество информации, получаемое в результате проведения опыта, равно снятой во время этого опыта неопределенности.
Для понимания вероятностного подхода лучше всего рассмотреть несложный пример, связанный с бросанием правильной игральной кости, имеющей N граней (наиболее распространенным является случай шестигранной кости: N = 6). Результатом данного опыта может быть выпадение грани с одним из следующих знаков: 1, 2,... N.
Введем в рассмотрение численную величину, измеряющую неопределенность -энтропию (обозначим ее Н). Величины N и Н связаны между собой некоторой функциональной зависимостью:
, (2.3)
а сама функция f является возрастающей, неотрицательной и определенной (в рассматриваемом нами примере) для N = 1, 2,... 6.
Рассмотрим процедуру бросания кости более подробно:
1) готовимся бросить кость; исход опыта неизвестен, т.е. имеется некоторая неопределенность; обозначим ее Н1;
2) кость брошена; информация об исходе данного опыта получена; обозначим количество этой информации через I;
3) обозначим неопределенность данного опыта после его осуществления через H2.
За количество информации, которое получено в ходе осуществления опыта, примем разность неопределенностей “до” и “после” опыта:
(2.4)
Очевидно, что в случае, когда получен конкретный результат, имевшаяся неопределенность снята (H2=0), и, таким образом, количество полученной информации совпадает с первоначальной энтропией. Иначе говоря, неопределенность, заключенная в опыте, совпадает с информацией об исходе этого опыта. Заметим, что значение H2 могло быть и не равным нулю, например, в случае, когда в ходе опыта следующей выпала грань со значением, большим трех.
Следующим важным моментом является определение вида функции f в формуле (2.3). Если варьировать число граней N и число бросаний кости (обозначим эту величину через М), общее число исходов (векторов длины М, состоящих из знаков 1, 2,..., N) будет равно N в степени М:
(2.5)
Так, в случае двух бросаний кости с шестью гранями имеем: Х=62=36. Фактически каждый исход Х есть некоторая пара (X1, X2), где Х1 и X2 – соответственно исходы первого и второго бросаний (общее число таких пар – X).
Ситуацию с бросанием М раз кости можно рассматривать как некую сложную систему, состоящую из независимых друг от друга подсистем – “однократных бросаний кости”. Энтропия такой системы в М раз больше, чем энтропия одной системы (так называемый “принцип аддитивности энтропии”):
(2.6)
Из приведенных формул выводится мера Хартли:
(2.7)
Важным при введении какой-либо величины является вопрос о том, что принимать за единицу ее измерения. Очевидно, H будет равно единице при N = 2. Иначе говоря, в качестве единицы измерения информации принимается количество информации, связанное с проведением опыта, состоящего в получении одного из двух равновероятных исходов (примером такого опыта может служить бросание монеты при котором возможны два исхода: “орел”, “решка”). Такая единица количества информации называется бит.
В случае, когда вероятности различных исходов опыта не равновероятны (а имеют вероятности Pi), меру энтропии вычисляют по формуле Шеннона:
(2.8)
В качестве примера определим количество информации, связанное с появлением каждого символа в сообщениях, записанных на русском языке. Будем считать, что русский алфавит состоит из 33 букв и знака “пробел” для разделения слов. По формуле (2.7) получаем: Н » 5 бит.
Однако, в словах русского языка (равно как и в словах других языков) различные буквы встречаются неодинаково часто. Для учета данного обстоятельства воспользуемся для подсчета Н вероятностными частотами употребления различных знаков русского алфавита, полученных на основе анализа очень больших по объему текстов. По формуле (2.8) получаем: Н » 4.72 бит. Полученное значение Н, как и можно было предположить, меньше вычисленного ранее. Величина Н, вычисляемая по формуле (2.7), является максимальным количеством информации, которое могло бы приходиться на один знак.