Пример 3. Игра «Угадай число»

На примере игры "Угадай число" можно рассмотреть уменьшение неопределенности. Один из участников загадывает целое число (например, 30) из заданного интервала (например, от 1 до 32), цель второго - "угадать" число первого участника. Для второго игрока начальная неопределенность знания составляет 32 возможных события. Чтобы найти число, необходимо получить определенное количество информации. Первый участник может отвечать только "да" и "нет". Второй должен выбрать следующую стратегию: последовательно, на каждом шаге уменьшать неопределенность знания в два раза. Для этого он должен делить числовой интервал пополам, задавая свои вопросы.

Вопрос второго	Ответ первого	Количество возможных событий (неопределенность знаний)	Полученное количество информации
		32
Число больше 16?	Да	16	1 бит
Число больше 24?	Да	8	1 бит
Число больше 28?	Да	4	1 бит
Число больше 30?	Нет	2	1 бит
Число 30?	Да	1	1 бит

Для того чтобы угадать число из интервала от 1 до 32 потребовалось 5 вопросов. Количество информации, необходимое для определения одного из 32 чисел, составило 5 бит.

Таким образом, очень приближенно можно сказать, что количество информации в сообщении о каком-то событии совпадает с количеством вопросов, которые необходимо задать, чтобы получить ту же информацию, ответ на эти вопросы может быть лишь "да" или "нет".

Вернемся к примеру 1.

Пусть x – количество информации в сообщении о том, что вытащен белый шар. Тогда

2^x = 1/0,5  2^x = 2  x = 1 бит,

т.е. мы доказали, что сообщение об одном событии из двух равновероятных несет 1 бит информации.

Количество информации можно рассчитать методами Р. Хартли и К. Шеннона.

Американский инженер Р. Хартли в 1928 г. процесс получения информациирассматривал как выбор одного сообщения из конечного наперёд заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определял как двоичный логарифм N. I =log₂N.

Допустим, нужно угадать одно число из набора чисел от единицы до ста. По формуле Хартли можно вычислить, какое количество информации для этого требуется: I = log₂100 = 6,644. Таким образом, сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6,644 единицы информации.

Определим теперь, являются ли равновероятными сообщения "первой выйдет из дверей здания женщина" и "первым выйдет из дверей здания мужчина". Однозначно ответить на этот вопрос нельзя. Все зависит от того, о каком именно здании идет речь. Если это, например, станция метро, то вероятность выйти из дверей первым одинакова для мужчины и женщины, а если это военная казарма, то для мужчины эта вероятность значительно выше, чем для женщины.

Для задач такого рода американский учёный Клод Шеннон предложил в 1948 г. другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе.

Формула Шеннона:

I = – ( p₁log₂p₁ + p₂log₂p₂ + . . . + _pNlog2pN),

где p_i — вероятность того, что именно i-е сообщение выделено в наборе из N сообщений.

Легко заметить, что если вероятности p₁, ..., p_N равны, то каждая из них равна 1/N и формула Шеннона превращается в формулу Хартли.

Пример 4. В мешке лежат 64 монеты. Сообщение о том, что достали золотую монету, несет 4 бит информации. Сколько золотых монет было в мешке?

Дано: N = 64; i_зол. = 4.

Найти k_зол.

Сообщение о том, что достали золоту монету. несет 4 бит информации. Следовательно:

2⁴ = 1/p_зол.

Отсюда можно найти вероятность вытаскивания золотой монеты:

p_зол. = 1/16.

С другой стороны, p_зол. = k_зол./N, следовательно, k_зол.= Np_зол. = 84/16 = 4.

Ответ: Число золотых монет – 4.

Пример 5. В ящике лежат 8 черных шаров и 24 белых. Сколько информации несет сообщение о том, что достали черный шар?

Дано: k_черн. = 8; k_бел. = 24.

Найти: i_черн.

N = k_черн. + k_бел. = 32;

p = k_черн./N = 8/32 = ¼;

2ⁱ_черн. = 1/p_черн. = 4;

i_черн. = 2 бит.

Ответ: сообщение о том, что достали черный шар, несет 2 бит информации.

В примерах 1-5 количество возможных вариантов информации являлось целой степенью числа 2. Если же количество возможных вариантов информации не является целой степенью числа 2, то необходимо воспользоваться калькулятором или следующей таблицей, в которой N – общее количество равновероятных событий; i – количество информации, бит.

Таблица 1.1