книги из ГПНТБ / Бовбель, Е. И. Элементы теории информации

Р(Уй) = X Р(Хі, уг) = Р(Х\, Уі) + Р(х2, Уг) =

1=1

» 0,005 + 0,495 = 0,5.

При отсутствии помех количество информации равно эн­ тропии выходных сигналов:

I(Y, Х) = H(Y) = - 2 P{yj) log P(yj) = log 2 = 1 (бит).

Для определения количества информации при наличии помех вычислим условную энтропию:

=— Q,495 log 0 ,9 9 -0 ,0 0 5 log 0,01 —

—0,0051og0,01 — 0,495 log 0,99 = 0,081 (бит).

Таким образом, при наличии помех

I(Y, X ) = H ( Y ) —H(Y/X) = 1—0,081=0,919 (бит).

Задача 4. Используя (1.20), найти формулу для точ­ ного количества информации, содержащегося в сообще­

Отсюда видно, что величина

случайна и представляет собой среднее количество ин­ формации, содержащееся в ijj относительно любого из сообщений хі , а случайная величина

Хі) = log P(Xj/y,)

P(Xi)

31

есть точное количество информации, содержащейся в со­ общении IJj о Хі .

Задача б. Число X появлений события А в серии п независимых испытаний распределено по биномиально­ му закону

Р(Х = т) = С™р т qn~m

Определить количество информации, несомое событием В о X, рассматривая его как случайную величину, при­ нимающую значения 1 или 0.

+ Gmlog —-------— ---- —

2 РкХ = m) Gm

От в е т : /(У, X) = — qnlog qn— (1 — qn) log (1 — qn).

Задача 7. В условиях предыдущей задачи определить число испытаний в серии по, которое доставляет макси­ мум информации I(Y, X).

шумы, поступает сообщение X в двоичном виде МП 1000* На выходе линии связи зафиксирована последователь­ ность 11100001. Определить точные и среднее количества информации, содержащиеся в Y о X.

32

Наконец,

=0,049 (бит).

§4. Относительная энтропия и количество информации

До сих пор понятие энтропии применялось к дискрет­ ным объектам произвольного вида, имеющим конечное (счетное) множество состояний. Однако на практике го­ раздо чаще встречаются непрерывные объекты. Так как понятие непрерывности применимо только к количест­ вам, то мы будем говорить о непрерывных случайных ве­ личинах.

Пусть непрерывная случайная величина X задана плотностью распределения вероятности іѵ (х) на конеч­ ном или бесконечном интервале ее возможных значений.. По определению, іи(х) пропорциональна вероятности'по­ пасть случайной величине X в достаточно малый интер­ вал около точки х:

отрезков одинаковой длины Ая, мы от непрерывной слу­

Подставив сюда значение P ( x i ) = w ( x i) А х, получим

*

Таким образом, энтропия непрерывной случайной ве­ личины всегда бесконечна. Да и интуиция подсказывает, что неопределенность примять случайной' величине из бесчисленного множества заданное значение сколь угод­ но велика.

Чтобы избавить теорию от бесконечности, имеется единственная возможность — ввести относительную ме­ ру неопределенности исследуемой непрерывной случай­ ной величины X по отношению к заданной Х0. В качест­ ве заданной величины Х0 возьмем непрерывную случай­ ную величину, равномерно распределенную на интервале с шириной S = Ь — а. Тогда ее плотность вероятности

= logs — lim log A X.

Д л ' - О

Положив, для простоты записи, е= 1, составим разность

Нс (X ) = Н{Х) — Н{Хй) = — Сw(x) log ay(х) dx,

_loo

которая показывает, насколько неопределенность непре­ рывной случайной величины X с законом распределения w(x) больше [Я _(Х );>0] или меньше [Я£ (Х )<;0] неоп­

ределенности случайной величины, распределенной рав­ номерно на интервале с шириной е = Г. Поэтому вели­ чину

__ 1 СО

называют о т н о с и т е л ь н о й энтропией.

Задача L Доказать, что относительная энтропия не зависит от того, какие конкретные значения принимает случайная величина X.

35

\

Д о к а з а т е л ь с т в о . Для этого достаточно пока­ зать, что «сдвиг» распределения вероятностей иа любой интервал а не изменяет относительной энтропии. В самом деле,

00

= X — а) — — j' w(x — а) log w{x — a) dx —

__*00

w(x) log w{x) dx = HZ{X).

Заметим, что аналогичным' свойством обладала энтропия дискретной случайной величины.

Задача 2. Доказать, что для любых плотностей веро­ ятности w(x, у) и g(x, у) справедливо неравенство

Іп* = і - Т > М d t = X - ( u — \) = (l - 4 -);

-36

так как из условия нормировки плотностей вероятности

Hjx, Y ) < H t(X) + H,(Y).

что и требовалось доказать.

Аналогично можно доказать, что, как и для дискрет­ ной случайной величины, справедливо неравенство

HJXIY) < Н в(Х).

Задача 4. Доказать, что

я £{X, Y) = Я (X) + Я (Y/X) = Я (У) 4- я (X/Y).

37

Д о к а з а т е л ь с т в о . По определению, относитель­ ная энтропия в совместном наступлении двух случайных величин X и Y

тельная условная энтропия случайной величины Y. Ана­ логично доказывается второе равенство.

Задача 5. Доказать, что всякое усреднение (сглажи­ вание) распределения вероятностей

—00

где с(х, у ) — весовая функция, удовлетворяющая усло­

виям

«

38

На основании неравенства (1.27) последний интеграл

доказать.

Задача 6. Определив количество информации, содер­ жащейся в одной непрерывной случайной величине отно­ сительно другой, как разность безусловной и условной дифферемциальных энтр опий:

S fd x d y

a a

Подставив

00

H' (X) = — j' w(x) log w(x) d x — log e

39