2. Количество информации.
Количеством информации называется степень уменьшения неопределенности в результате передачи информации.
-
БИТ – минимальная единица количества информации, один ответ типа «ДА-НЕТ». Бит - сокращение от английских слов binary digit, что означает двоичная цифра.
-
I – количество единиц информации (бит), количество ответов типа «ДА-НЕТ» (бит), число разрядов двоичного кода (бит).
-
N – количество возможных событий в системе, количество возможных состояний системы.
-
H – Энтропия, степень (мера) неопределенности реализации конкретного состояния системы (бит).
Конкретные состояния, в которых может находиться система, могут быть равновероятными и не равновероятными.
При расчете энтропии системы с равновероятными состояниями (возможными событиями) используется формула Хартли. При расчете энтропии системы с не равновероятными состояниями (возможными событиями) используется формула Шеннона.
2.1. Формула хартли.
Если число состояний системы равно N, то это равносильно информации, даваемой I ответами типа «ДА-НЕТ» на вопросы, поставленные так, что «ДА» и «НЕТ» одинаково вероятны.
N=2I; log2N=Ilog22; log2N=I; I=log2N;
Количество информации I, минимально необходимой для устранения неопределенности H, равно двоичному логарифму числа возможных состояний системы N.
При реализации конкретного события (состояния) количество единиц полученной информации I равно энтропии H. При этом неопределенность полностью снимается.
I=H=log2N;
ЧИСЛО СОСТОЯНИЙ СИСТЕМЫ N И КОЛИЧЕСТВО ИНФОРМАЦИИ I.
|
Разряды двоичного слова |
N |
I |
||||
|
I |
… |
2 |
1 |
0 |
N=2I |
I=log2N |
|
|
|
|
|
|
21=2 |
1=log22 |
|
|
|
|
|
|
22=4 |
2=log24 |
|
|
|
|
|
|
23=8 |
3=log28 |
|
|
… |
|
|
|
2I |
I=log2N |
2.2. Формула шеннона.
Если
N - количество состояний системы,
p1, p2,…pN - соответствующие вероятности этих состояний,
pi >=0, - вероятность i- го состояния больше или равна 0,
-
сумма вероятностей всех состояний равна
1.
Тогда формально энтропия определяется формулой Шеннона:
Формула Шеннона переходит в формулу Хартли, если все N состояний системы являются равновероятными. В этом случае вероятность любого i - го состояния pi=1/N. Поэтому
2.3. Свойства энтропии.
-
Энтропия равна нулю (H = 0) в том случае, когда вероятность наступления какого-либо события (состояния) pi = 1, а вероятность наступления остальных событий (состояний) равна 0.
-
Энтропия максимальна (H = Max), когда при данном количестве возможных событий в системе (количестве возможных состояний системы) N все события (состояния) равновероятны (формула Хартли).
-
Энтропия суммы независимых опытов (двух, трех и т д.) равна сумме их энтропий (аддитивность количества информации).