книги из ГПНТБ / Толстоусов, Г. Н. Прикладная теория информации учеб. пособие

раскрываемое на.втором этапе Нг

, т .ѳ .

математическое ожида­

ние величины

.

Величина HI

получается в

случае, если состояние вспомо­

гательного источника содержится

в группе

£^ . Вероятность это­

Рь

■

(**}

_

Если

раскрыть

неопределенность вспомогательного

источника

с

равновероятными состояниями

непосредственно,

то согла­

сно

(4.10)

получим

способа раскрытия,

поэтому

Подставляя значения

из

(4 .13), (4.16)

и (4 .17), имеем

logt KL=n(p„ps,...pj%

ft CcgKc .

Отсюда искомое значение энтропии исходного источника

н(РиР*>..РЛ)=

Я

ъ .

Умножая второе

слагаемое на величину У р.

равную ѳди-

нице, получаем

Kl

Учитывая (4 .12), имеем окончательное»выражение

Н(Р,*Р*.:РП.)=-£РС&ЧРС -

K«)

Таким образом,

основываясь на трех аксиомах,

изложенных в

5.

Для систеиы с однии возыовныы состоянием энтропия р

нулю.

В этом

случае ѵ. в ' (4.18) следует

положить р= 1,

Dl- О

( і,

= 2 . . .

гг

) . Тогда,

очевидно,

для первого источника^

имеем

= 0 .

При вычислении последующих слагаемых сталкиваемся с неопре­

деленностью вида

О ‘ о° ,

Раскрывая

неопределенность,

получим

&/пр&зср= Ііпг^Я£--£йп

=Зслгр-Зоде-О.

P-о

Р-'О ф р-*о

*

ятности р ,

и

рл

двух

произвольных состояний. Пустьр,

.

Изменим эти значения в сторону сближения. Обозначим новые зна­

чения через

рі

и

рі

. Учитывая, что сумма всех вероятнос­

тей постоянна

(она

равна

единице), получим

Так как р г ^Р/ и

Ар^О ,

ю

вариация положительна и

свойство

доказано.

7 .

Энтропия максимальна

в

случае равновероятных состояний

источника. Для доказательства необходимо найти условия экстре­

мума функции

(4 .18). При решении задачи необходимо учесть, что

аргументы

р^

функции не могут изменяться произвольно. Вероят­

ности всегда подчиняются условию

£ / > . = / .

(Ш

F = -iPcto9Pi+A(£f Pc - l) ,

№ )

Заметим, что условия экстремума функционала (4.20)

и функции

(4.18) одинаковы. Указанные выражения одинаковы по

величине,так

как согласно (4.19) последнее слагаемое в (4.20) равно нулю.

Из (4.21) следует, что в точке экстремума все

вероятности

одинаковы, т .ѳ . состояния равновероятны. Экстремум

(он один)

Зависимость энтропии источника

с двумя возможными состояниями от ве­

роятности состояний показана на рис.

4 .3 . На рисунке обозначено

рі » p

,

тогда $t=» I - р

. Видно, что в

качестве единицы энтропии, равной I

биту, можно принять энтропию источ­

ника с двумя равновероятными состоя­

ниями.

Для численных расчетов

удобно

пользовгться таблицами функции

t f p b - P t y z P

.

при­

водимой в литературе

по теории ин­

Н(Х)= м[- &$Р(Х)] t

(4.23)

где Н(Х) -

энтропия источника

информации

X ;

М[ 3 -

операция математического ожидания;

P C X ) -

вероятность любого

случайного

состояния источника,

рассматриваемая как

случайная

величина.

появления

состояния

равна

. Если мы поставим в соот­

ветствие

появлению состояния Хі

появление величины - toflp. »

Рассмотрим вначале объединение, состоящее из двух дискрет­

ных источников информации X

и У .

sc, , х г

Пусть

источник

X

имеет

/г

возможных состояний

. . .

Хп ,

а

источник

Y

ийеет пг

возможных состояний

yt ,

. . .

.

По каналу

связи передается сообщение о действительном

парные

комбинации состояний источников: Xtyi ; Х,ул . . .

Хп

* т*е. всего имеем ГЪ*т разных сообщений. Под состо­

ков, входящих в объединение.

Чему равна

вероятность

одного

из

состояний

объединения

X^

? Это есть

вероятность произведе­

ния, т .е . одновременного появления двух

событий: X - Х с

(ис­

точник X

находится

в состоянии

Х0 )

и Y~*/y

(источник

Y находится в состоянии

) .

Эту

вероятность обозначим

следующим образом:

Рѵ = р [ х ~ х і ; у . ^ ]

ш

ний (5 .1 ), то

энтропия объединения Н(Х Y)

по определению энтро­

пии источника

(Ф.І8) может быть записана следующим образом:

H< x r h - ifc P v &>?Pv .

t o )

И(ХГ)=м[-еодР(ХУ)],

(Si)

где P(XY) - вероятность состояния объединения,

рассматривае­

между источниками.

Предположим, что источники X и У

независимы. Для не­

Пусть источник X

характеризуется табл. 5 .1 ,

а источник У

- табл. 5 .2 ,

где

^

есть вероятность состояния ß

Таблица

б .І

,

Таблица

5 .2

Хі,

Xi

Xx • • •

РЛ

ь

& • * • Ѵѣ

Pi

Pt

Ръ

« • «

J L L

• »

•

-

Вероятность произведения

состояний для независимых

источ­

ников равна

произведению вероятностей этих состояний:

ІѴ=АѴ

(SM

P (X Y hP iX )P {Y ) .

(SS)

Подставив

(5.5)

в (5 .S ), получим

н(х у zw... )=н(х)+н(у)+н(г)+h (w)+...

ш)

Рассмотрим объединение двух зависимых дискретных источни­

ков информации X

и У , Источники называются зависимыми,ког­

да вероятности состояний одного источника зависят от того, в

каком состоянии находится другой источник.

Вычислим энтропию объединения зависимых источников. Веро­

ятность состояния

объединения Р (Х У) в этом случае равна

ность

второго. Принимая, например, ъ качестве первого источник

X

, имеем

Р(Х У)=Р(Х)Р( Y/X),

(6.1)

где Р(У/Х)~

условная вероятность источника

У

,

вычисляемая

при известных состояниях

источника

X .

Подставив

(6.1) в выранение для

энтропии объединения

(5 .3 ), получим

Первое слагаемое в правой части согласно

(4.23)

представля­

ет собой энтропию первого источника:

Н{Х)=м[- £о$Р(Х)].

(65)

Рассмотрим второе слагаемое выражения (6 .2 ) .

Условная ве­

роятность Р(У/Х)рассматривается здесь

как случайная величина.

Случайными

являются состояния

),

для

которых

вычисляется

вероятность и условия ( Xf ,X z ...

x ^ ,

), при ко­

м[-& уР(У/Х)/=-£1 Р¥ ео$р(у./хс) ,

(ел)

Для конкретных значений

Х - х ^

и

У~у#

согласно

(6.1)

имеем

Подставляя

(6 .5)

в (6 .4 ),

получим

м[-&уР(У/х)]=£рс[-1 Р^Ю & уРІЪ/Хі)].

(6-6)

Выражение

в квадратных

скобках

H (Y/xl)=- Z p fa /x J Coypfa/xc) t

(е.г)

согласно (4 .1 8 ),есть энтропия

источника

У .

В

это

выражение

вместо

априорных

вероятностей

источника

У

входят

условные

вероятности P (y J

,

которые

необходимо

использовать,ког­

да

нам

известно,

что источник

X

находится

в

состоянии

х с .

Поэтому энтропия

Н (У /хс)

называется

частной

условной

энтропи­

ей источника. Это мера неопределенности источника

У

,

кото­

рая остается, когда нам известно,

что

зависимый

от

У

источник

X

находится

в

состоянии

.

Частная условная

энтропия ис­

точника

У

ость

величина, которая может изменяться

в зависимо­

сти

от

состояния

источника

X

. Вычислим среднее значение вели­

чин Н(У/хс )

,

которое обозначим чере > И(Y /X )

. Осредняя

по

всем

состояниям источника

X

,

получим

H(Y/X)=lpc Ы г М .

(6.8)

Величина Н(У/Х)

называется

условной

энтропией

источника У .

Используя

(6 .6 ),

(6.7)

и (6 .8 ),

имеем

H (Y/X htl[-eoyP (Y/X )J

(в-9)

Таким образом, неопределенность источника может измеряться

двумя видами энтропий:

обычной

Н(У)

и

условной Н(У/Х),

ропия Н(У/Х)

есть нера неопределенности, которая остается у

источника

У ,

когда

становятся известными состояния

некоторо­

го другого

источника

X .

источника X не монет увеличить

Информация о состоянии

неопределенности

источника

У . Поэтому предположим,

что

H(Y)?H(Y/X)

М

H[XY)=H(X) +H(Y/X).

(&н)

Заметим, что выбрав

в качестве первого источник У

, мы полу­

чили бы результат в

следующем виде:

H(XY) =Н(У) + Н (Х /У ).

(Ш

HIXY)±H(X) +H(Y).

(&ö)

Энтропия объединения иаксѵшальна, когда входящие в нее ис­

точники независимы.

Х , , Х х .. • Л«

Для произвольного числа источников

.вхо­

дящих в объединение, обобщая результат

(6 .I I ) , получим

H(xtx„. .x^ ufxj+ H fxjxj+

+Н(ХЛ/Х,Х,)+... +н(Хк/Х <Хх . .. Х н<).

I M

передачи

первой

буквы будет п ерѳдаваться другая;

В начальный момент времени источник находится в состоянии

Х ° ,

которое

представляет

собой

одно из п возможных состоя­

ний (

. г OZ

).

Затем

в некоторый момент времени