Вывод формулы Шеннона

Рассмотрим ряд чисел , где i = 1,..,n, а m_i – целые положительные числа, такие что .

Для кодового слова длиной m_i меру неопределенности закодированного состояния можно представить в виде:

_.

Для примера, приведенного в таблице, мера неопределенности будет равна:

– среднее количество знаков в кодовом слове (математическое ожидание).

Если взять не двоичную систему счисления, а систему счисления с основанием a, то для ряда чисел , закодированных кодовыми словами длиной m_i меру неопределенности закодированного состояния можно представить в виде:

_.

Если опять обратимся к таблице, то увидим, что – это вероятность состояния, закодированного кодовым словом длиной m_i, то есть p_i. При этом .

Поэтому, выражение для неопределенности (1.1) Шеннон записал, объединив формулу для любой системы счисления и получил:

,

назвав это выражение энтропией. На самом деле впервые функция энтропии была введена в термодинамику Р.Клаузиусом (термин «энтропия» был введен тоже Клаузиусом, образовавшим его от корня греческого слова «тропе», означающего «превращение» с добавлением заимствованной из слова «энергия» приставки «эн-»), усовершенствована Л.Больцманом и наконец М.Планком. Уже в этом виде ее применил Клод Шеннон.

То есть, в самом общем случае, на вероятностном языке для опыта с таблицей вероятностей

исходы опыта	А1	А2	А3	…	Аk
вероятности				…		(1.2)

мера неопределенности равна

и называется энтропией опыта (или дискретного распределения (1.2). Напомним, что .

Итак, энтропия – это среднее количество информации, приходящееся на один исход опыта (для дискретных систем).

Аналогичная (1.3) формула имеет место и при в предположении сходимости соответствующего ряда.

Наряду с энтропией дискретного распределения рассматривается также и энтропия непрерывной случайной величины, которая определяется формулой

, (1.4)

где – плотность распределения вероятностей. В предположении сходимости интеграл (1.4) является мерой неопределенности непрерывной случайной величины.

1.3. Единицы измерения энтропии и информации

Итак, исторически первые шаги к введению понятия энтропии были сделаны еще в 1928 г. американским инженером-связистом Р.Хартли, предложившим характеризовать степень неопределенности опыта с k различными исходами числом log k. За меру неопределенности опыта, имеющего k равновероятных исходов, приняли число . В конкретных применениях «меры степени неопределенности» обычно используются логарифмы при основании два. Это означает, что за единицу измерения степени неопределенности здесь принимается неопределенность, содержащаяся в событии, имеющем два равновероятных исхода (например, в событии, состоящем в подбрасывании идеальной монеты). Такая единица измерения неопределенности называется двоичной единицей или битом (bit образовано из двух начальных и последней букв английского выражения binary unit, что значит двоичная единица). Таким образом, запись (где не указано основание логарифма) будет обычно означать .

Кроме того, используется дит – это энтропия системы с десятью равновероятными состояниями, вычисленная с помощью логарифма с основанием десять. Иногда бурт физическую систему с е состояниями, тогда натуральную единицу количества информации называют нитом, при этом основание логарифма в формуле Шеннона равно е.

Взаимосвязь между единицами количества информации:

.