1.3. Условная информация. Условная энтропия. Совместная энтропия дискретного источника

Рассмотрим теперь — два совместно заданных ан­самбля и На каждом из множеств А и В мо­гут быть определены условные распределения. Зафиксируем некото­рое сообщение и рассмотрим условное распределение на множестве А. Условное распределение на А относительно фиксированного зна­чения удовлетворяет всем свойствам безусловных распределений и, следовательно, при задании АВ задаются также условные ансамбли и ; предполагается, что и не равны 0. Для каждого сообщения а в ансамбле определена собственная информация

(1.6)

называемая условной собственной информацией сообщения а при фик­сированном сообщении . Математическое ожидание условной ин­формации

называется условной энтропией ансамбля А относительно сообщенияb.

Математическое ожидание случайной величины , определенной на ансамбле называется условной энтропией ансамбля А относительно ансамбля В:

(1.7)

Таким же образом убеждаемся в справедливости равенства

(1.7a)

Математическое ожидание собственной информации пары сооб­щений представляет собой энтропию (совместную энтропию) ансамбля АВ:

(1.8)

Продолжим рассмотрение свойств энтропии, условной и совмест­ной энтропии.

1. Из определения условной вероятности следует, что

и аналогично . Эти свойства также назы­ваются свойствами аддитивности энтропии.

2. Условная энтропия не превосходит безусловной энтропии того же ансамбля: , причем равенство имеет место в том и только в том случае, когда ансамбли A и В статистически независимы. Доказательство проводится аналогично доказательству справедливости неравенства (1.3) с использованием неравенства (1.4) для логарифма:

Равенство выполняется в том и только в том случае, когда для всех и , т.е. когда ансамбли A и В статистиче­ски независимы

Рассмотрим частный случай, когда В = А, так что Тогда на основании свойств 1 и 2 можно сделать вывод, что совместная энтропия имеет наибольшее значение, равное , когда сообщения в ансамбле A не имеют статистической связи.

3. Из свойства 2 условной энтропии вытекает следующая законо­мерность. Зададим на ансамбле отображение множества А в множество X, определяющее ансамбль следующим обра­зом: . Тогда ; знак равенства имеет место только в том случае, когда отображение обратимо, т.е. когда каждому элементу х соответствует единственный элемент а. Для дока­зательства можно воспользоваться равенством где , когда , и для остальных х, т.е. ко­гда каждое сообщение ансамбля А однозначно определяет сообщение ансамбля X. Тогда , и из аддитивности и неотрица­тельности энтропии получим, что

Отсюда следует вывод, что при произвольных отображениях энтропия не возрастает. Энтропия не изменяется только тогда, когда , т.е. когда ансамбль X взаимно однозначно отобра­жает ансамбль А.

4. Для трех совместно заданных ансамблей спра­ведливо неравенство , которое доказывает­ся аналогично проведенному при рассмотрении свойства 2. Равенство здесь имеет место при статистической независимости ансамблей А и G. Это неравенство легко обобщается на случай совместно задан­ных ансамблей. При этом оказывается справедливым утверждение, что . Знак равенства имеет место в случае

статистической независимости сообщений в ансамблях .