- •Раздел 1. Организационно-методический 4
- •Организационно-методический
- •Цели и задачи дисциплины
- •Требования к уровню подготовки студента.
- •Содержание разделов дисциплины
- •Задание №2msWord. Художественное оформление текстов Вариант 1
- •Вариант 2
- •Задание №3msExcel. Форматирование таблиц, вычисления и создание диаграмм
- •Вариант 1
- •Вариант 2
- •Вариант 3
- •Вариант 4
- •Задание №4 ms Excel. Работа с функциями
- •Феномен информации
- •Информация – это…
- •Эволюция материи
- •Теория отражения
- •Носители информации, память
- •Носители информации вещество и поле
- •Процесс сообщения
- •Сообщение во времени. Сигнал.
- •Непрерывное и дискретное
- •Целенаправленная передача информации
- •Количество информации
- •Неопределенность, количество информации и энтропия
- •Формула Шеннона
- •Формула Хартли
- •Количество информации, получаемой в процессе сообщения
- •Кодирование информации
- •Кодирование чисел. Системы счисления
- •Перевод целых чисел из системы счисления с основанием k в десятичную систему счисления
- •Двоичная система счисления
- •Перевод целых чисел из десятичной системы счисления в систему счисления с другим основанием
- •Шестнадцатеричная система счисления
- •Вавилонская (шестидесятеричная) система счисления
- •Кодирование двоичным кодом
- •Кодирование символов. Байт.
- •Юникод. Utf-8
- •Единицы измерения объема данных и ёмкости памяти: килобайты, мегабайты, гигабайты…
- •Кодирование графической информации
- •Восприятие цвета
- •Цветовые модели rgb и cmyk
- •Другие цветовые модели
- •Некоторые принципы уменьшения объема графических файлов
- •Кодирование звуковой информации
- •Цифро-аналоговое и аналого-цифровое преобразование звуковой информации
- •Параметры семплирования
- •История развития эвм
- •Поколения эвм
- •Типы и назначение компьютеров
- •Аппаратное обеспечение компьютера
- •Устройства, входящие в состав системного блока
- •Материнская плата
- •Центральный процессор
- •Оперативная память
- •Жесткий диск
- •Графическая плата
- •Звуковая плата
- •Сетевая плата
- •Tv-тюнер
- •Дисковод 3,5’’
- •Накопители на компакт-дисках
- •Накопители на dvd дисках
- •Флэш-память
- •Периферийные устройства
- •Клавиатура
- •Манипуляторы
- •Цифровой фотоаппарат
- •Мониторы электронно-лучевые (crt)
- •Мониторы жидкокристаллические (lcd)
- •Плазменные панели (pdp)
- •Принтеры
- •Матричные принтеры
- •Струйные принтеры (Ink Jet)
- •Лазерные принтеры (Laser Jet)
- •Плоттер
- •Конфигурация компьютера
Неопределенность, количество информации и энтропия
Основоположенник теории информации Клод Шеннонопределилинформацию, какснятую неопределенность. Точнее сказать, получение информации - необходимое условие для снятия неопределенности. Неопределенность возникает в ситуации выбора. Задача, которая решается в ходе снятия неопределенности – уменьшение количества рассматриваемых вариантов (уменьшение разнообразия), и в итоге выбор одного соответствующего ситуации варианта из числа возможных. Снятие неопределенности дает возможность принимать обоснованные решения и действовать. В этом управляющая роль информации.
Представьте, что вы зашли в магазин и попросили продать вам жевательную резинку. Продавщица, у которой, скажем, 16 сортов жевательной резинки, находится в состоянии неопределенности. Она не может выполнить вашу просьбу без получения дополнительной информации. Если вы уточнили, скажем, - «Orbit», и из 16 первоначальных вариантов продавщица рассматривает теперь только 8, вы уменьшили ее неопределенность в два раза (забегая вперед, скажем, чтоуменьшение неопределенности вдвое соответствует получению 1 бита информации). Если вы, не мудрствуя лукаво, просто указали пальцем на витрине, - «вот эту!», то неопределенность была снята полностью. Опять же, забегая вперед, скажем, что этим жестом в данном примере вы сообщили продавщице 4 бита информации.
Ситуация максимальной неопределенностипредполагает наличие несколькихравновероятныхальтернатив (вариантов), т.е. ни один из вариантов не является более предпочтительным. Причем,чем больше равновероятных вариантовнаблюдается, тем больше неопределенность, тем сложнее сделать однозначный выбор итем больше информации требуетсядля этого получить. ДляNвариантов эта ситуация описывается следующим распределением вероятностей:{1/N, 1/N, … 1/N}.
Минимальная неопределенность равна 0, т.е. эта ситуацияполной определенности, означающая что выбор сделан, и вся необходимая информация получена. Распределение вероятностей для ситуации полной определенности выглядит так:{1, 0, …0}.
Величина, характеризующая количество неопределенности в теории информации обозначается символом Hи имеет названиеэнтропия, точнее информационная энтропия.
Энтропия (H)–мера неопределенности, выраженная в битах. Так же энтропию можно рассматривать какмеру равномерности распределенияслучайной величины.
Рис. 8. Поведение энтропии для случая двух альтернатив. |
Максимального значения энтропия достигает в данном случае тогда, когда обе вероятности равны между собой и равны ½, нулевое значение энтропии соответствует случаям (p0=0,p1=1) и (p0=1,p1=0).
Количество информации Iиэнтропия Hхарактеризуют одну и ту же ситуацию, но с качественно противоположенных сторон.I – это количество информации, которое требуется для снятия неопределенности H.По определению Леона Бриллюэнаинформация есть отрицательная энтропия (негэнтропия).
Рис. 9. Связь между энтропией и количеством информации. |
При частичном снятии неопределенности, полученное количество информации и оставшаяся неснятой неопределенность составляют в сумме исходную неопределенность. Ht + It = H.
По этой причине, формулы, которые будут представлены ниже для расчета энтропии Hявляются и формулами для расчета количества информацииI, т.е. когда речь идет ополном снятии неопределенности,H в них может заменяться наI.