1. Энтропия источников сообщений

1.1. Дискретные ансамбли и источники

С методической точки зрения изучение информационных характеристик сообщений, сигналов и их свойств целесообразно начать с определения и анализа дискретных ансамблей и источников. Будем рассматривать множество сообщения , состоящее из конечного числа элементов . (Принято обозначать сами множества прописными буквами, а строчными – элементы этих множеств.) Предположим, что на множестве задано распределение , где каждому элементу из соответствует значение вероятности (см. приложение 1). Множество с заданным в нём распределением называют дискретным ансамблем сообщений, обозначая его

Рассмотрим теперь два множества сообщений и , содержащих конечное число элементов и соответственно. Будем называть множество, элементы которого представляют все возможные упорядоченные пары произведением и , обозначая его как . Из определения следует, что в общем случае и - различные множества. Если множества и совпадают, используется обозначение

Для множества с заданными совместным распределением определен дискретный ансамбль При определении задаются ещё два ансамбля и (на основании свойства согласованности распределений дискретной случайной величины ). и называют ансамблями статически независимых сообщений, если

При наличии статической зависимости сообщений величина, определяемая соотношением (предлагается, что ), называется условной вероятностью сообщения при условии, что сообщение фиксировано (задано). Известно, что множество условных вероятностей относительно фиксированного сообщения , получаемое при переборе всех значений индекса , удовлетворяет общему определению распределения вероятностей. Это есть условное распределение на множестве относительно заданного сообщения . Аналогичным образом задается условное распределение на множестве относительно сообщения . Отсюда следует, что задание ансамбля определяет ещё два условным ансамбля сообщений и . При определении условных ансамблей предполагается, что в исходных ансамблях не существует сообщений с нулевой вероятностью.

Дальнейшее обобщение понятия ансамбля связывают с произведением , представляющим собой множество всех последовательностей длины , таких, что первый элемент принадлежит множеству и т.д. (надстрочный индекс обозначает номер элемента в последовательности). При этом образуется ансамбль, обозначаемый При совпадении всех элементов произведения используется обозначение . Таким образом, представляется множество всех последователь­ностей длины , образованных из элементов множества . Очевид­но, что все закономерности, отмеченные при рассмотрении частного случая , при необходимости могут быть обобщены на произве­дение ансамблей.

Определимся теперь с дискретными источниками информации.

Дискретные источники сообщений рассматриваются как устрой­ства, выбирающие в каждую единицу времени одно из сообщений мно­жества . С точки зрения теории информации источник (телеграф­ный аппарат, телевизионное устройство) считается заданным полно­стью, если задан случайный процесс дискретного времени, который в каждый момент принимает значения из А. Как источник, так и поро­ждаемый им случайный процесс, задаются своими -мерными распре­делениями. Распределение вероятностей -последовательностей явля­ется функцией переменных, из которых являются выборками из элементов ансамбля сообщений, а оставшиеся — соответствующи­ми моментами времени:

Источник называется стационарным, если совместное распределе­ние последовательностей не зависит от их произвольного сдвига по оси дискретного времени. Источник называется источником без памяти, если для любых и любых последовательностей совместное распреде­ление представляет собой произведение одномерных распре­делений для всех моментов времени.

В дальнейшем на протяжении данного курса рассматриваются только стационарные источники. Стационарный источник, не имеющий памяти, является простейшей моделью источника информации и носит название постоянного источника.