2.3. Свойства информации

1. Информация относительно опыта , содержащаяся в событии , всегда равна информации относительно , содержащейся в

.

2. Равенство подчеркивается следующей простой формулой, которая во многих случаях оказывается весьма удобной (отсюда получили формулу (3.12)).

. (2.8)

3. Пусть теперь , и – три произвольных опыта. В таком случае всегда

.

Иначе говоря, сложный опыт всегда содержит не меньшую информацию относительно любого опыта , чем простой опыт . При этом равенство будет иметь место лишь в том случае, когда условная вероятность любого исхода опыта при условии, что опыта и имеют некоторые определенные исходы, не изменяется при изменении исхода (т. е. зависит лишь от исхода ).

4. Если равенство имеет место, то в этом случае всегда

.

Таким образом, если сложный опыт не содержит никакой дополнительной информации об по сравнению, с опытом , то информация об , содержащаяся в событии , не может быть больше информации об , содержащейся в событии . При этом знак «меньше или равно» в последнем неравенстве можно заменить знаком равенства в том и только в том случае, когда , т. е. когда сложный опыт не содержит дополнительной информации об также и по сравнению с опытом .

5. Неравенство играет в теории информации значительную роль (см. [36]). Оно показывает, что при последовательной передаче информации об опыте , осуществляемой посредством цепочки опытов , , ,..., где только опыт непосредственно связан с , а всю содержащуюся в нем информацию об получает из связи с опытом (так что уже не содержит об дополнительной информации по сравнению с ), всю информацию об получает из связи с опытом и т. д., информация об может лишь уменьшаться:

Наглядной иллюстрацией этого положения может служить известная детская игра в «испорченный телефон», при которой первый играющий тихо произносит на ухо своему соседу некоторое слово (опыт ); сосед тихо передает расслышанное им слово (которое может и отличаться от первоначально произнесенного) следующему играющему (опыт ); этот играющий также передает услышанное слово соседу (опыт ) и т. д.; в конце игры все говорят услышанные ими слова, и проигравшим считается тот из участников, кто первым неправильно услышал передаваемое слово. В этой игре может случиться так, что второй играющий передает первоначально сказанное слово неправильно, а третьему в результате повторной ошибки покажется, что он услышал то же слово, которое передавалось вначале. Однако при большом числе повторений той же процедуры второй играющий, разумеется, в среднем будет чаще передавать дальше слово, которое на самом деле произнес первый игрок, чем третий играющий. Но наше понятие информации I как раз и является статистическим понятием, характеризующим соотношения, имеющие место «в среднем»; поэтому для него всегда будет выполняться выписанная выше цепь неравенств.

2.4. Условная информация

Определение. Величину

(2.9)

называют средней условной информацией двух опытов и друг относительно друга при условии выполнения опыта или, короче, условной информацией опытов и при условии .