Методическое пособие 640

H (XY) ≤ H (X) + H (Y).

В заключение подчеркнем, что энтропия характеризует только среднюю неопределенность выбора одного элемента из множества, полностью игнорируя их содержательную сторону.

2.6. Энтропия при непрерывном распределении состояний элементов

Перейдем к рассмотрению источников информации, выходные сигналы которых являются непрерывной случайной величиной.

Элементы дискретных сообщений могут принимать лишь определенные фиксированные состояния x1, x2, … , xm c вероятностями p1, p2, … , pm соответственно. На рис. 2.2,а представлена диаграмма состояний такого сообщения.

Рис. 2.2. Диаграмма состояний (а) и диаграмма вероятностей состояний (б) дискретных сообщений

31

Диаграмма характерна наличием только m возможных фиксированных состояний. Промежуточные состояния невозможны. Каждое состояние имеет определенную вероятность появления и все состояния характеризуются диаграммой вероятностей состояний дискретных сообщений (рис. 2.2, б).

В ряде практически важных случаев приходится иметь дело с сообщениями, элементы которых могут принимать любое состояние (непрерывные сообщения), на некотором интервале состояний элементов. На рис. 2.3, а приведена диаграмма состояний такого сообщения. Через xmin и xmax обозначены границы интервала состояний элементов. Интервал состояний может быть ограничен сверху и снизу, либо иметь неограниченные границы с одной или двух сторон. Через x1, x2, … , xk , … , xm обозначены текущие значения состояний элементов, характерные для данного частного сообщения, состоящего из n элементов.

Рис. 2.3. Диаграмма состояний (а) и функция плотности вероятности элементов сообщений (б) при непрерывном рас-

пределении состояний

32

Характерной особенностью сообщений с непрерывным распределением состояний является то, что вероятность появления каждого из состояний равна нулю. Состояния можно характеризовать функцией плотности вероятности распределения состояний w(x) (см. рис. 2.3,б).

Функцию w(x) называют также дифференциальным законом распределения величины Х. Кривая распределения характеризует вероятность попадания случайной непрерывной величины Х на некоторый элементарный участок dx (c точностью до бесконечно малых высшего порядка). Эта вероятность равна w(x)dx. Если в выражении w(x)∆x устремить ∆x к нулю, то при ограниченной функции w(x) величина w(x)∆x будет также стремиться к нулю. Это и означает, что вероятность появления некоторого состояния x равна нулю.

Через плотность вероятности w(x) удобно выражается вероятность пребывания случайной величины Х в пределах от α до β, эта вероятность равна

Многие физические величины, передаваемые по каналам связи, имеют непрерывные распределения состояний. Такими распределениями обладают, например, речевые, музыкальные, телевизионные сообщения, температура, давление, влажность среды и т.д.

Многим видам модуляции сигналов также характерно непрерывное распределение состояний.

Мы можем приближенно оценить неопределенность выбора какого-либо значения непрерывной случайной величины по формуле (2.5), если ограничим диапазон ее допустимых значений и разобьем этот диапазон, например, на равные интервалы, вероятность попадания в каждый из которых отлична от нуля и определяется как

( ) = − ( )∆ log{ ( )∆ } =

Такая замена будет тем более точной, чем меньше ∆x. При уменьшении ∆x (увеличении m) первая сумма в пределе стремится к интегралу

− ( )log ( ) ,

а вторая сумма при достаточно малом ∆x с высокой точностью равна -log∆ , так как

Для получения конечной характеристики информационных свойств используется только первое слагаемое, называе-

мое дифференциальной энтропией.

34

Термин дифференциальная энтропия связан с тем, что для ее определения в формуле (2.17) используется дифференциальный закон распределения w(x). Дифференциальная энтропия имеет смысл средней неопределённости выбора случайной величины с произвольным законом распределения за вычетом неопределённости случайной величины, равномерно распределённой в единичном интервале.

Величина - ∆ зависит только от выбранного интервала ∆x, определяющего точность квантования состояний, и при постоянном ∆x является величиной постоянной. Очень часто эту величину исключают из рассмотрения.

Дифференциальная энтропия позволяет сравнить неопределенность случайных величин, имеющих разные законы распределения относительно некоторого стандарта.

2.6.1. Свойства дифференциальной энтропии

1) Если Х и Y являются непрерывными случайными величинами, то по аналогии с выражением для безусловной энтропии выражение для энтропии объединения сообщений Х и Y можно представить в виде

Произведя интегрирование в первом слагаемом по Y и учитывая, что

( ) = ( ) ,

Получим:

35

- условная дифференциальная энтропия сообщения Y; ( ) – плотность совместного распределения ХY;

( ⁄ ) – условная плотность распределения Y относительно Х.

То есть h(XY) = h(X) + h(Y/X) = h(Y) + h(X/Y);

2) Свойство коммутативности дифференциальной энтропии

h(XY) = h(YX).

3) Условная дифференциальная энтропия всегда меньше или равна безусловной:

h(Y/X) ≤ h(Y);

h(X/Y) ≤ h(X).

4) Дифференциальная энтропия объединения статистически независимых множеств равна сумме энтропий исходных

36

множеств. Для статистически зависимых множеств элементов совместная дифференциальная энтропия всегда будет не превышать значения:

h(XY) ≤ h(X) + h(Y).

5) Дифференциальная энтропия не изменяет своей величины при таких преобразованиях закона распределения как параллельный перенос или зеркальное отображение.

h(а+X) = h(X);

h(а·X) = h(X)+log |a|;

Таким образом, из-за выбора различных а, дифференциальная энтропия может принимать положительные, отрицательные и нулевые значения.

6) Дифференциальная энтропия также зависит от единицы измерения.

2.6.2. Энтропия непрерывных сообщений с нормальным распределением состояний элементов

Вычислим энтропию сообщений, состояния элементов которых распределены по нормальному закону (см. рис.2.4, а).

Рис. 2.4. Функции распределения состояний, обеспечивающие максимальную энтропию сообщений: а – при заданной дисперсии состояний (нормальный закон распределения), б – при произвольной дисперсии (равномерный закон распределе-

ния).

37

Тогда плотность распределения состояний элементов для нормального закона будет находиться следующим образом:

Энтропия сообщений в соответствии с (2.17) равна

Подставим в выражение h(X) функцию ωH(x).

Зная значение дифференциальной энтропии, получим

( ) = ( ) − log∆ = log ∆ √2

или, окончательно получим

( ) = log ∆ √2 .

Из этого выражения следует, что количество информации, содержащееся в непрерывных сообщениях, состояния элементов которых распределены по нормальному закону, прямо пропорционально логарифму отношения дисперсии состояний к величине интервала квантования ∆x, определяемому требуемой точностью измерения состояний.

38

2.6.3. Энтропия непрерывных сообщений с равномерным (равновероятным) распределением состояний элементов

Если элементы непрерывных сообщений могут с равной вероятностью принимать любое состояние на некотором промежутке (а, b), то плотность распределения этих состояний равна величине 1/(b-a) в любой точке этого промежутка и равна нулю вне его, т.е.

На рис. 2.4, б изображена функция плотности вероятности распределения для рассматриваемого случая. Через х0 обозначено среднее значение, равное (a+b)/2.

Вычислим энтропию непрерывных сообщений, состояния элементов которых распределены по равномерному закону.

Подставим в выражение для h(X) функцию плотности вероятности распределения для равномерного закона. Тогда

ния элементов которого равновероятны, прямо пропорционально логарифму отношения величины промежутка изменения состояний к интервалу ∆x, определяемому точностью квантования. При этом, энтропия не зависит от среднего значения х0 . Это обусловлено тем, что постоянная составляющая в сообщении никакой информации не несет.

39

2.6.4. Сравнительная оценка сообщений с нормальным и равновероятным распределениями состояний элементов

Рассмотрим два вида сообщений, обладающих одинаковой энтропией, но характеризуемых различными законами распределения состояний элементов. Если элементы одного вида рассматриваемых сообщений распределены нормально, а другого – равномерно. То можно записать равенство:

где Hн(Х) – энтропия сообщений с нормальным распределением состояний;

Hр(Х) – энтропия сообщений с равновероятным распределением состояний.

Подставив формулы энтропии, полученные в п.п. 2.3.2 и 2.3.3 в (2.18), получим