- •Лекция №1. Теория информации.
- •1.2 Основные понятия комбинаторики.
- •1.3 Случайные модели в теории информации.
- •1.4 Основные понятия теории информации
- •Этапы обращения информации:
- •Практическое занятие
- •Лекция №2. Меры информации
- •1.Энтропия всегда неотрицательна.
- •3.Энтропия сообщения максимальна, если события равновероятны.
- •4.Энтропия аддитивна.
- •Аксиомы Хинчена
- •Аксиомы Фадеева
- •2.4 Понятие совместной энтропии.
- •Лекция №3 .Источники информации и их энтропия.
- •Лекция №4 оптимальное и эффективное кодирование
- •4.3.3. Арифметическое кодирование.
- •Лекция № 5 помехоустойчивое кодирование
- •5.1 Классификация помехоустойчивых кодов.
- •5.2 Параметры (характеристики) помехоустойчивых кодов и их границы. Корректирующие свойства кодов.
- •0 Запрещенные кодовые комбинации00
- •5.3.Линейные (систематические) коды.
- •5.3.1.Механизмы кодирования и синдромного декодирования.
- •100 → Ошибка в b1,
- •5.3.2. Матричное представление линейных (систематических) кодов.
Лекция №1. Теория информации.
Понятие видов информации.
В интересах технических проблем удобно информацию классифицировать по структурно-метрическим свойствам.
Вид информации |
Формы представления информации | ||
Топологическая |
Абстрактная |
Лингвистическая | |
1.События |
точка |
суждение |
знак |
2. Величина |
линия |
понятие |
буква |
3. Функция |
поверхность |
образ |
слово |
4 Комплекс информации |
объем |
система |
предложение |
5.Поле |
пространство |
универсуум |
фонд |
Событие- это первичный и неделимый двоичный элемент информации. Как правило, это выбор из двух возможных состояний. Учитывая двоичный характер события, условно его можно представить в геометрической символике точкой или пробелом, в арифметике- 0 или 1, в сигнальной- импульсом или паузой. Еще говорят, что событие- это категория нулевой меры. Все другие категории информации могут быть представлены как совокупность отдельных событий.
Величина есть упорядоченное множество событий в одном измерении. Величина – одномерное поле событий. Функция- это соотношение между двумя величинами. Функция – двумерное поле событий. Комплекс информации – это соотношение между тремя величинами и, соответственно, трехмерное поле событий. Поле- это зависимость между большим количеством величин (больше трех).
1.2 Основные понятия комбинаторики.
Комбинаторика- это раздел математики, посвященный решению задач выбора и расположения элементов некоторого обычного конечного множества в соответствии с заданными правилами. Каждое такое правило определяет способ построения некоторой конструкции исходного множества, которое называется комбинаторной конфигурацией. К таким конфигурациям относятся перестановки, сочетание и размещение.
1.Перестановка.
Qn = n! ( без повторений элементов)
Правило организации перестановок: комбинации отличаются порядком следования элементов и не зависит от состава.
Qnn=
2. Сочетание- формирование из исходного множества n элементов комбинаторных конфигураций из m элементов, причем эти конфигурации отличаются только составом элементов и не зависят от порядка их следования.
Qc= (без повторений элементов)
Qc=
3. Размещения
Qp = (без повторений элементов)
Qp =
Главное свойство размещений в том, что комбинации отличаются как составом элементов, так и порядком их следования.
1.3 Случайные модели в теории информации.
Случайное событие – это любой факт, который в результате опыта может произойти, а может и не произойти.
Пусть А – некоторое событие, P(A)- вероятность этого события.
Если , а событие U=1,тогда U-достоверное, а события Ai образуют полную группу событий.
Если ,,V-невозможное, то А и B являются несовместными.
-обратные, если они несовместные и образуют полную группу.
Пусть N-серия опытов, , N-большое.
Во многих случаях случайное событие А является следствием происхождения некоторой совокупности
Случайная величина-переменная, которая в результате опыта может принимать то или иное неизвестное значение из известного множества значений. Случайные величины могут быть непрерывными и дискретными.
Полной статистической характеристикой случайной величины является закон распределения вероятностей (это зависимость между возможными значениями дискретной величины и вероятностями).
Пусть – дискретная случайная величина.
pi
x
x1 x2 ……xi....xn
Функция распределения:
Свойства :
1..
2., если x2 ≥ x1.
3.
Математическое ожидание: (ДСВ)
Дисперсия: (ДСВ)
Чаще используют плотность распределения информации, которая является дифференциальной функцией распределения вероятности:
Свойства плотность распределения:
≥ 0.
.
.
(HCB)
(HCB)