4.12. Энтропия и условная энтропия объединенной вероятностной схемы и их свойства

В этом параграфе определены понятия энтропии объединённой вероятност­ной схемы, условной энтропии; доказана важная теорема о связи энтропии объединённой вероятностной схемы и энтропии составляющих её частных схем.

Рассмотрим вероятностные схемы:

(4.40)

(4.41)

Вообще говоря, схемы А, В не предполагаются независимыми, то есть p(a_i,b_j)

Определение. Назовем схему С - объединённой вероятностной схемой с множеством исходов и вероятностным распределением

(4.42)

если для вероятностей p(ij) выполняют­ся следующие соотношения:

Для объединённой вероятностной схемы будем использовать обозначе­ние С = АВ.

Понятие объединённой вероятностной схемы естественным образом рас­пространяется на произвольное конечное множество конечных вероятностных схем.

Для простоты записи для условных вероятностей будем использовать сле­дующие обозначения:

Определение. Энтропией объединённой вероятностной схемы AB называется величина:

(4.43)

Преобразуем выражение Н(АВ):

Отсюда следует

(4.44)

Определение. Величина

(4.45)

называется условной энтропией вероятно­стной схемы B относительно схемы A.

В (4.42) вероятностные схемы А и В при необходимости можно рассматривать как объединённые схемы.

Наряду с энтропией вводят следующую условную энтропию:

Определение. Величина

(4.46)

называется условной энтропией ве­роятностной схемы B относительно исхода

Имеет место:

Полученное равенство дает основание назвать энтропию средней условной энтропией.

Формула (4.44) может быть переписана в новых обозначениях следующим образом:

(4.44')

Если вероятностные схемы А и В статистически независимы, то есть то:

Аналогично можно ввести условную энтропию . Докажем важное соотношение между энтропией объединённой вероят­ностной схемы и энтропиями составляющих схем.

Теорема. Для любых двух конечных вероятностных схем справед­ливо неравенство:

(4.47)

Равенство в (4.47) имеет место тогда и только тогда, когда схемы А и В независимы.

Доказательство.

Обозначим Заме­тим, что:

Пусть f (x) - непрерывная на [x, x + h] функция, имеющая конечную произ­водную в каждой точке интервала (х, х + h) (h ≥ 0). По теореме Лагранжа о ко­нечных приращениях получаем:

Положим

Тогда имеем:

Соотношение

усредним по вероятностной схеме АВ и умножим на (-1):

Оценим разность:

Так как , то знак суммы определяется знаком знаменателя в каждом слагаемом.

При знаменатель положителен. Если , то

Следовательно, рассматриваемая разность отрицательна. Откуда вытекает, что:

Если схемы независимы, то

и

Докажем обратное утверждение, если то это возможно, когда

Так как каждое слагаемое неотрицательно, то равенство этой суммы нулю возможно тогда, когда . То есть Это и означает статистическую независимость вероятностных схем А и В. Замечание. Используя неравенство

где (4.48)

можно легко получить ещё одно доказательство теоремы 1.2.1. Прологарифмируем обе части неравенства:

(4.49)

Заметим, что:

В силу неравенства (4.49) получаем:

Замечание. Доказательство теоремы может быть получено с использованием неравенства:

(4.50)

Рассмотрим:

Сумма в последнем соотношении берётся по тем (i, j), для которых p(ij) > 0.

Для этих слагаемых

Следовательно, неравенство (4.50) может быть применено для каждого слагаемого

Приведём ряд следствий, вытекающих из теоремы 1.

1° (4.51)

Доказательство.

2° Неравенство (4.51) остается справедливым и в случае, когда - объединённая вероятностная схема.

(4.52)

Доказательство.

Прологарифмируем полученное равенство:

Умножим это соотношение на и просуммируем по вероятност­ной схеме :

В силу следствий 1° и 2°:

Следовательно, неравенство (4.52) доказано.

4° Для любых трёх конечных вероятностных схем А, В, С справедливо нера­венство

Доказательство. Предположим, что реализовалось событие

Апостериорное распределение в схемах АС, А, С обозначим:

Наряду со схемами А, С, АС введём и схемы А', С', (АС)' с апостериорным распределением.

Из следствия 1° имеем:

(4.53)

В терминах условных энтропии перепишем (4.53) следующим образом:

Выразим

(4.53')

Умножая обе части равенства (4.53') на р(b_k) и суммируя по вероят­ностной схеме В, имеем:

то есть

5° Для любых г конечных вероятностных схем справедливо нера­венство:

(4.54)

Результаты, изложенные в данном параграфе, используются для получения соответствующих энтропий­ных оценок.