Измерение информации

Информация может рассматриваться либо с точки зрения потребного места для ее хранения и ресурсов для ее передачи от одного источника к другому, либо с точки зрения удовлетворения потребности получателя информации. Для оценки количества информации, содержащейся в сообщении можно применять различные подходы и использовать различные методы.

Статистический подход измерения количества информации

К. Шеннон ввел понятие количества информации как меры неопределенности состояния системы, снимаемой при получении сообщения. Количественно неопределенность системы получила название энтропии. При получении сообщения неопределенность состояния системы (энтропия) падает. Если энтропия равна нулю, то о системе имеется полная информация, она представляется полстью упорядоченной. Получение информации связано с изменением степени неопределенности получателя о состоянии системы.

Неопределенность состояния системы, находящейся в состоянии Х, связанная с осведомленностью об этой системе на основании предварительных сведений о ней, может быть обозначена H(X). При получении сообщения об этой системе, в котором содержится информация I(X), неопределенность системы уменьшится и станет равной H`(X). Тогда информация, полученная с этим сообщением, может быть определена как разность энтропии системы до и после получения сообщения:

I (X)=H(X)-H`(X).

Количество информации сообщения измеряется уменьшением энтропии (неопределенности) системы. Полная информация о системе, которая могла бы быть получена, равна ее исходной энтропии:

I_п(X)=H(X).

Энтропия системы, обладающей дискретными состояниями, связана с вероятностями нахождения системы в каждом из этих состояний и их полным количеством:

,

где P_i – вероятность нахождения системы в I-том состоянии.

Из уравнения следует, что энтропия равна нулю, когда о системе либо все известно (вероятность одного состояния равна единице, а всех остальных – нулю), либо о системе ничего не известно (все вероятности равны нулю).

Для выбора единицы измерения энтропии удобно принимать за единицу энтропию системы с равновероятными состояниями и с нею сравнивать неопределенности системы с другим распределением вероятностей состояний. Например, в случае бинарной системы, когда число возможных состояний равно двум, снятие неопределенности ее состояния дает одну единицу информации, так как при полной ее определенности энтропия количественно равна информации: H=I. В этом случае вероятность каждого состояния системы Р=0,5 и информация об этой системе

I= =2Plog₂P=-2*0,5log₂0,5=1.

В общем случае при N равновероятных событиях

I=log₂N.

Количество информации о системе с равновероятными событиями зависит лишь от количества этих событий. Каждое удвоение числа возможных состояний увеличивает количество информации на одну единицу: при N=2 I=1, при N=4 I=2 и так далее.

Статистическая информация отражает лишь способ выражения сообщения числом используемых для этого знаков без относительности к его содержанию. Она не учитывает семантического и прагматического аспектов информации, а лишь потребное количество двоичных единиц для ее записи.