книги из ГПНТБ / Ливенцев В.В. Кибернетика горных предприятий (основные положения) учеб. пособие

ний эксплуатация подобного оборудования была бы весьма неэффективной).

«Степень неожиданности» того или иного состояния систе­ мы определяется его вероятностью: чем меньше вероятность, тем событие неожиданнее. С увеличением неожиданности со­ бытия возрастает ценность связанной с ним информации, иными словами, чем меньшей вероятностью обладает событие, тем большее количество информации несет в себе сообщение о том, что система попала именно в это, маловероятное, со­ стояние.

Назначением информации, заключенной в сообщении, яв­ ляется уменьшение энтропии системы под воздействием этого сообщения. Если, например, до поступления сообщения эн­ тропия системы была равна двум битам, а после него стала равной одному биту, то информация, заключенная в сообще­ нии, равна одному биту.

Если сообщение полностью ликвидирует неопределенность системы, т. е. Н'(Х)=0, то величина информации, содержа­ щейся в этом сообщении, численно равна начальной энтропии системы.

Поскольку в подавляющем большинстве случаев сообще­ ния строятся таким образом, чтобы полностью снять неопре­ деленность системы, то для измерения информации в дискрет­ ных системах вполне применима формула Шеннона; символ энтропии необходимо только заменить символом информации:

Понятию «информация в битах» можно дать очень на­ глядное истолкование: она равна числу ответов «да» или «нет» на разумно поставленные вопросы о состоянии системы. Разумность постановки вопросов определяется тем, что их

40

Задают в дихотомическом порядке (дихотомия — последова­ тельное разбиение пополам). Поясним это на примере.

Пусть система А может иметь два равновероятных состоя­ ния Ах и А2. Тогда полное выяснение состояния этой системы несет информацию в 1 бит, и, значит, можно ее получить в ре­ зультате ответа на один вопрос. В самом деле, задав одинединственный вопрос: «Находится ли система в состоянии Л]?» и получив на него ответ «да» или «нет», мы полностью выяс­ ним состояние системы.

Возьмем другой пример. Пусть в лаве длиной 160 м рабо­ тает узкозахватный комбайн, передвигающийся по раме скреб­ кового конвейера. На конвейере через каждые 20 м установ­ лены контактные датчики, на которые последовательно нажи­ мает комбайн при своем движении вдоль забоя.

По показаниям датчиков, сигналы от которых передаются, допустим, на пульт горного диспетчера, можно судить, на ка­ ком участке лавы находится комбайн в каждый момент вре­ мени.

Комбайн может быть в одном из восьми состояний: на участках лавы от 0—20 м до 140—160 м. Эти состояния будем считать равновероятными, так как комбайн последовательно проходит все участки лавы, не минуя ни один.

Сообщение, несущее информацию о том, на каком участке лавы находится комбайн в данный момент, полностью ликви­ дирует неопределенность системы. Следовательно, информа­ ция о местонахождении комбайна численно равна энтропии системы, т. е.

где І(К) —количество информации о местонахождении ком­ байна (К), бит;

1 Рі— априорная вероятность г-того состояния, равна — .

8 Подставляя значение р( = — в формулу, получаем

Это означает, что полное выяснение того, на каком участке лавы находится комбайн, можно получить с помощью трех ответов «да» или «нет» на три дихотомически поставленных вопроса. Зададим эти вопросы. Первый: «Находится ли ком-

41

байн на участке лавы 0—80 м?» (мысленно разбиваем всю длину лавы пополам). Допустим, получаем ответ «нет». Сле­ довательно, комбайн находится на участке лавы от 80 до 160 м. Вновь мысленно делим этот участок пополам и задаем второй вопрос: «Находится ли комбайн на участке 80—120 м?». Допустим, получаем ответ «да». Задаем третий вопрос: «На­ ходится ли комбайн на участке 80—100 ж?». При получении отрицательного ответа мы совершенно определенно устанав­ ливаем, что комбайн находится на участке 100—120 м. Таким образом, сообщение о том, что комбайн находится на участке 100—120 м несет информацию в 3 бита.

Рассмотрим еще один пример.

Пример 5. Пусть добычный участок D характеризуется двумя состоя­ ниями: D1—суточный план добычи по участку выполнен; D2 —суточный план добычи по участку не выполнен. Допустим, что вероятности этих со­ стояний равны соответственно рх =0,85 и />2 =0,15.

Сообщение о том, что участок попал в состояние D 3 (план не выпол­ нен), должно нести в себе информации больше, чем сообщение о том, что

/ ( D O - — loga /7t = — log3 0,85. Пользуясь также табл. 1 приложения, находим

/(Di) = — (log2 85—logjlOO) = log2100—Iog2cV5 =-6,644—6,409 = 0,235 бита.

Как видим, первое сообщение несет информации почти в 12 раз боль­ ше, чем второе. Это является вполне естественным: при получении сообще­ ния о неблагоприятном маловероятном событии (суточный план добычи по

42

Энтропия обеих систем согласно формуле Шеннона будет^

пm

п m

+• • • + 9m= 1. можно записать

и/и

Правая часть данной формулы представляет собой алге­ браическую сумму энтропии систем S и Т. Окончательно имеем

43

Совместная энтропия двух независимых систем равна сум­

Проиллюстрируем принцип аддитивности энтропии систе­ мы, в которой состояния отдельных подсистем являются неза­ висимыми друг от друга.

Пример 6. Рассмотрим две шахты, состояния которых и соответствую­ щие им вероятности заданы табл. 3.

Энтропия системы составит:

Н(А, Б) = —0,72 logj0,72—0,18 log, 0,18—

—0,08 logs 0,08—0,02 log, 0,02.

i Величина, характеризующая весь объект в целом, является аддитив­ ной, если ее можно представить в виде суммы величин, характеризующих

отдельные части этого объекта. Аддитивной называют функцию f(a-\-b),

если f(a + b) = f(a)+f(b).

44

Пользуясь табл. 2 приложения, находим:

Н(А, Б ) = 0 , 3 4 1 + 0 , 4 4 5 + 0,292+0,113 = 1,191 бита.

Рассмотрим две дискретные зависимые друг от друга си­

Энтропия обеих систем согласно формуле Шеннона будет

л m

45

Условная энтропия системы W, т. е. ее неопределенность, очевидно, будет меньше той энтропии, которую система W имела бы, если бы была независимой, так как знание состоя­ ния системы V, от которой зависит система W, уже снимает некоторую долю неопределенности у системы W. Это обстоя­ тельство можно выразить следующим неравенством;

46

Совместная энтропия двух зависимых систем равна сумме энтропии этих систем минус количество информации об одной системе, полученное при наблюдении за другой зависимой системой.

Отсюда следует, что в случае зависимости систем V и W сложное состояние систем VW характеризуется меньшим ко­ личеством информации, чем в случае независимости систем. Естественно, сложные системы, состоящие из зависимых си­ стем, свойством аддитивности энтропии (информации) не об­ ладают.

Рассмотрим пример вычисления энтропии системы, в кото­ рой состояния отдельных подсистем зависят друг от друга.

Пример 7. Пусть на участке имеется два очистных забоя. Поскольку они связаны друг с другом общей схемой транспорта, вентиляции и энерго­ снабжения, можно считать, что работа очистные забоев' взаимозависима и

47

X loga 0,25—0,3-0,12 log2 0,12—0,3-0,8S log2 0,88.

Пользуясь табл. 2 приложения, находим:

ЯіЛу/Л,) = 0,360+0,521+0,7-0,311+0,7-0,500+0,3-0,367+

+0,3-0,162= 1.Ю8 бита.

§2. Измерение информации в непрерывных системах

Понятие энтропии применялось до сих пор к дискретным случайным величинам, имеющим конечное множество значе­ ний. На практике гораздо чаще встречаются непрерывные случайные величины с бесконечным множеством значений. Примером может служить величина добычи шахты с какой угодно точностью, содержание метана в вентиляционной струе и т. д.

Непрерывные случайные величины задаются обычно плот­ ностью распределения вероятностей. Плотность вероятности Рг(х) пропорциональна вероятности того, что значение слу­ чайной величины е попадет в малый интервал около точки х:

вместо непрерывной случайной величины е получим дискрет­ ную случайную величину е*, имеющую п значений: хи х2,

хп.

Эта операция превращения непрерывной случайной вели­ чины в дискретную называется квантованием. Ясно, что чем меньше интервал Ах, тем ближе свойства дискретной величи­ ны е* к свойствам непрерывной случайной величины е. Най­ дем энтропию е* по формуле Шеннона:

і = 1

48