Свойства информации

Атрибутивные (без чего информация не существует)

Прагматические (степень полезности информации)

Динамические (изменение информации во времени)

Дискретность (имеет определенные границы и окончание)	Смысл и новизна	Рост информации
Непрерывность	Полезность	Старение
Неотрывность от носителя	Ценность
Языковая природа	Кумулятивность

Классификация мер информации

Меры информации

Синтаксическая мера

Семантическая мера

Прагматическая мера

Объем данных V Количество информации I(α)=H(α)-H (α) где H(α)-энтропия

Количество информации I=CV где С-коэффициент содержательности

-стоимость -скорость -объем памяти -время итп

Синтаксическая мера информации оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту.

Объем данных Vд

Объем данных Vд в сообщении измеряется количеством символов (разрядов) в этом сообщении. В различных системах счисления один разряд имеет различный вес и соответственно изменяется единица измерения данных:

-в двоичной системе счисления единица измерения - бит (bit - binary digit - двоичный разряд) - это количество информации,, необходимое для различения двух равновероятных сообщений

-в десятичной системе счисления единица измерения - ДИТ (десятичный разряд)

Пример.

Сообщение в двоичной системе в виде восьмиразрядною двоичною кода 11001011 имеет объем данных Vд = 8 бит = 1 байт, сообщение в десятичной системе в виде числа 281934 имеет объем данных Vд=6 дит.

Единицы измерения объема данных

1 байт = 2³бит = 8 бит

1 Килобайт (Кбайт) = 1024 байт = 2¹⁰байт

1 Мегабайт (Мбайт) = 1024 Кбайт = 2²⁰ байт

1 Гигабайт (Гбайт) = 1024 Мбайт = 2³⁰ байт

1 Терабайт (Тбайт) = 1024 Гбайт = 2⁴⁰ байт

1 Петабайт (Пбайт)=1024 Тбайт = 2⁵⁰ байт

Количество информации I

I определяет изменение (уменьшение) неопределенности состояния системы.

Энтропия - это мера «хаотичности», неопределенности информации или состояния некоторой системы.

Пример: Получение информации о какой-либо системе всегда связано с изменением степени неосведомленности получателя о состоянии этой системы.

Энтропия, как мера недостающей информации Iβ(α)=H(α)-Hβ(α)

Если конечная неопределенность Hβ(α) обратится в нуль, т.е. система а изучена полностью, то первоначальное неполное знание заменится полным знанием и количество информации. Иными словами, энтропия системы Н(α) может рассматриваться как мера недостающей информации

Формула Шеннона для энтропий

Энтропия Н(α) системы, имеющей N возможных состояний, согласно формуле Шеннона, равна:

где Pi- вероятность того, что система находится в i-м состоянии.

Для случая, когда все состояния системы равновероятны т.е. их вероятности равны Pi=1/N

ее энтропия определяется соотношением:

Формула Хартли. Связь между I и Vд

Информация кодируется числовыми кодами в той иди иной системе счисления. Естественно, что одно и то же количество разрядов в разных системах счисления может передать разное число состояний отображаемого объекта, что можно представить в виде соотношения

где N - число всевозможных отображаемых состояний;

m-основание системы счисления (разнообразие символов, применяемых в алфавите);

n - число paзрядов (символов) в сообщении.

Пример.

По каналу связи передается n-разрядное сообщение, использующее m различных символов. Так как количество всевозможных кодовых комбинаций будет N=mⁿ, то при равной вероятности появления любой из них количество информации, приобретенной абонентом в результате получения сообщения, будет

- это и есть формула Хартли.

Если в качестве основания логарифма принять m, то I = n, т.е. количество информации (при условии полного априорного незнания абонентом содержания сообщения) будет равно объему данных I = Vд, полученных по каналу связи. Для неравновероятных состояний системы всегда I < (Vд =n)

Тезаурус - это совокупность сведений, которыми располагает пользователь или система дословно тезаурус можно понимать как «словарь терминов».

Семантическая мера информации на основе тезауруса

Для измерения смыслового (семантического) содержания информации, т.е. ее количества на семантическом уровне, часто используется тезаурусная мера, которая связывает семантические свойства информации со способностью пользователя принимать и понимать поступившее сообщение.