книги из ГПНТБ / Толстоусов, Г. Н. Прикладная теория информации учеб. пособие
.pdfг
Министерство высшего и среднего специального образования СССР
М о с к о в с к о е , ) ордена Ленина и ордена Трудового Красного Знамени
высшее техническое училище им. Н. Э. Баумана
Г. Н. ТОЛСТОУСОВ, Д^Я. ГЕРМАН
/
Прикладная теория информации
Учебное пособие
М о с к в а |
1974 |
Министерство высшего и среднего специального образования СССР
Московское ордена Ленина и ордена Трудового Красного Знамени высшее техническое училище имени Н.Э.Баумана
Г.Н.Толстоусов, Д.я.Герман
Утверждено в качестве учебного
пособия
<•
ПРИКЛАДНАЯ ТЕОРИЯ ИНФОРМАЦИИ
Москва |
1973 |
Данное учебное пособие по курсу "Прикладная теория инфор мации" иадается в соответствии с учебной программой специально стей 0608, 0609, 0616, 0620, 0646, 0648,
Рассмотрено и одобрено кафедрой П-7 27/10-73 г . , Методиче ской комиссией факультета П и Учебно-методическим управлением.
§I . Основные понятия
,Понятие "информация" имеет много определений и использует ся в самых различных выражениях: информативность, информацион ный взрыв и т .д . Для привлечения математического аппарата к оп ределению информации необходима удачная абстрактная схема,пере ход от всеобъемлющей и неисчерпаемой объективной реальности к некоторой несуществующей, но математизированной схеме. Для это го, прежде всего, как это принято в теоретической механике, от
деляют движение от движущегося объекта. Будем различать сигнал - физический носитель информации (звуковые или электрические колебания, намагниченную среду, механическую борозду на поверх ности, сажу в типографской краске и т .д .) и сообщение - те из менения в каком-то параметре физического носителя,которые и по зволяют нам считать, что сигнал несет в себе некоторое сообща - ниѳ (изменение фазы электрических колебаний, изменение давления, изменение направления канавки в звукозаписи и т . д . ).
Систему, в которой существуют сигналы, несущие сообщение, назовем информационной системой.
Изменение какого-то параметра сигнала для сообщения может быть как непрерывным, так и дискретным. Соответственно будем подразделять системы на дискре гныѳ и непрерывные информационные системы. Кстати сказать, сравнение и оценка дискретных и непре рывных систем является одной из задач теории информации.
Одно и то же сообщение монет передаваться различными сиг налами-носителями. Последовательное соединение устройств, в ко тором сообщение переходит от одного физического носителя к дру гому или от одного параметра носителя к другому (звук - микро фон - электрические колебания звуковой частоты - изменение амп
литуды, фазы, |
частоты и т .д .) , назовем информационной цепью.По- |
|
мимо установившихся традиционных названий звеньев этой цепи |
||
(модулятор - |
демодулятор, микрофон - телефон, тракт высокой ча |
|
сѵоты, тракт |
промежуточной частоты и т .д .) будем пользоваться |
|
обобщенным названием кодирующие и декодирующие |
устройства для |
|
всех устройств, формирующих сообщение в сигнал, |
как в нѳпрерыв-- |
|
ных, так и в |
дискретных системах. |
„ |
Каждое предыдущее звено для последующего является источни ком сообщений ^информации), а каждое последующее для предыдуще го - приемником сообщений. Роль источника и приемника для неко торых устройств может быть разделена во времени. При записи лента магнитофона является приемником, а при воспроизведении - источником. Устройства такого рода будем называть средствами хранения информации, или устройствами памяти.
Типичная цепь такого типа изображена на рис. І . І .
Рис. І . І
В информационной системе могут появиться вследствие различ ных причин помехи. Воздействие помехи на сигналы приводит к то му, что принятый сигнал может отличаться от переданного и при - нятое сообщение может отличаться от переданного. Восстановление с заданной точностью переданного сообщения является одной из задач информационной системы.
Приведенная на рис. І . І структурная схема информационной системы охватывает все практически важные случаи: передача те - леграымы, система телевидения, передача параметров космического пространства с борта космического корабля на Землю, контроль выпускаемой продукции и т .д .
Однако принятая абстрактная схема информационной цепи не так безобидна и всеобъемлюща, как это может показаться на пер вый взгляд. Например, передавать и принимать в этой схеме можно только то, что уже известно. Нельзя на аппарате Боде принять изображение телевизионного сигнала или телепрограмму, передан -
нуш для записи |
азбукой Морзе. При передаче и приеме в этой схе |
ме происходит |
только выбор из заранее известных сообщений. В |
этой схеме совершенно невозможно объяснить возникновение инфор мации. Невозможно объяснить процесс'познания и обучения. Помеха передаче сообщений в такой схеме неизбежно становится сообщени
ем, но сообщением |
вопреки или вместо нашего |
выбора. Помеха иска |
|
жает не сигналы ( |
а. всегда остается а , |
а не f |
или cP ), |
4
а ваш выбор. Другими словами, в принятом определении канала ин формация не возникает и не монет возникнуть,она может быть то л :- ко передана. Любая обработка информации, при принятой схеме ин формационной цепи, может в лучшем случае сохранить имеющуюся информацию, а в худшем случае её потерять.
Перечень недостатков принятой абстрактной схемы можно было бы продолжить, но главное её преимущество, как это будет видно из дальнейшего изложения курса, заключается в том, что она поз воляет воспользоваться существующим математическим аппаратом и успешно решить многие вопросы передачи, обработки и хранения информации.
Началом математической теории информации принято считать публикацию в 1949 г . работы К.Шеннона "Математическая т-'орпя связи" [I] . Если начало исследовался вопросов физических свойств различных сигналов невозможно указать, то работ, пред шествующих выходу "Математической теории связи" было всего две:
Р.Хартли "Передача |
информаціи," (опубликована |
в США |
в 1927 г .) |
и В.А.Котельникова |
"О пропускной способности эфира |
и проволо - |
|
ки" (опубликована в |
1933 г . ) . Работа Хартли, |
трактующая частные |
|
вопросы передачи информации, был" обобщена ІС.іенноном на все случаи передачи информации по схеме рис. І . І . Результаты В.А.Ко тельникова использованы К.Шенионом для обобщения теории дискрет ных систем на системы с непрерывными сигналами.
Теория информации создавалась и начала свое развитие как наука, позволяющая решить проблемы связи. Однако, бурное разви тие кибернетики - общей науки об управлении - привело к необхо димости изучения процессов передачи информации в технических, биологических и экономических системах. В живых и технических системах имеются чувствительные органы, выбирающие информацию об окружающей среде, эта первоначальная информация преобразует ся в форму, пригодную для дальнейшего использования. Затем цент ральный орган управления определяет, что должна делать система на основе полученной, накопленной и пореработаниой информации. Исключительная сложность процессов, протекающих как в живых ор ганизмах, так и в современных больших технических и экономичес ких системах делают теорию информации одной из неотъемлемых со
ставных |
частей |
кибернетики. |
В |
настоящем |
курсе рассматриваются процессы передачи инфор- |
5
нации в технических системах и свойства информационных систем, обеспечивающих передачу информации с требуемой точностью и ско ростью.
Так как результаты теории информации, полученные для диск ретных систем более очевидны и могут быть использованы при изу чении непрерывных систем, то в курса нет четкого деления на не прерывные и дискретные системы, хотя изложение вопросов начина ется с дискретных систем.
§ 2. Комбинаторная мера информации (Р. Хартли)
Первый шаг в определении меры информации был сделан в 1927 году Р.Хартли. Согласно его результатам все источники ин - формации различаются между собой только по числу возможных зна чений, которые может принимать его параметр, т .ѳ . по числу раз ных сообщений, которые от источника могут быть переданы.
Предположим, что источник меняет свои состояния и о каждом состоянии передается сообщение, т .е . по каналу передается после довательность состояний источника. Предлагается считать, что в каждом таком сообщении содержится одинаковое количество инфор - мации. У Хартли это выражено следующими словами: " . . . телеграф передает десятое слово известия не с большим трудом, чем пред - шествующее..."."...Чтобы мера информации имела практическую ценность, она должна быть такой, чтобы информация была пропор - циональна числу выборов". Действительно, если у источника име - ется П возможных состояний, то при каждой смене состояния
принимается одно из п возможных сообщений. |
Обозначим количест |
|||
во информации в одном сообщении через/4 (лЛ |
. |
Тогда |
в к пос |
|
ледовательно принятых сооощениях количество информации будет |
||||
равно кА(п) |
. Количество информации в каждом блоке |
из к |
||
сообщений по ранее указанному предложению будет функцией чис |
||||
ла возможных блоков. Число разных блоков равно |
п к |
, а коли |
||
чество информации в блоке обозначим через А(гъ*) |
„ Способ пѳ - |
|||
редачи сообщений (последовательно или блоком) не полней изменять количества информации, передаваемого этими сообщениями. Следова
тельно, для определения неизвестной функции А(п) |
имеем соотно |
шение |
|
кА(іг) = А (п 'с), |
(Zi) |
6
|
Пусть инеем два источника информации с |
числом |
состояний |
|||||
/г, |
и |
/гя . Составим блоки сообщений длиной К, и |
Кг . Значе |
|||||
ния |
Ht и |
Kz |
выберем |
из условия, чтобы число возможных блоков |
||||
для каждого |
источника |
было одинаково: |
|
|
||||
|
|
|
|
л . |
|
|
(гл) |
|
|
Тогда количество информации в блоке каждого источника так |
|||||||
же будет |
одинаково: |
|
|
|
|
|||
|
|
|
|
А(п^)=А(пя г) , |
|
(2.3) |
||
|
Это уравнение, учитывая (2 .1 ), запишем в виде |
|
||||||
|
|
|
|
K1A(n,)=Hll_A(nJ |
|
(г.ч) |
||
Прологарифмируем обе части равенства (2 .2 ). |
Получим |
|
||||||
|
|
|
|
|
|
|
|
(2.5) |
Разделим |
(2.4) |
на (2 .5 ). |
Имеем |
|
|
|||
|
|
|
|
А (ti<) _ |
A (nJ |
|
(Z.6) |
|
|
|
|
|
|
~ èogn^ ‘ |
|
||
|
|
|
|
|
|
|
||
Для выполнения этого равенства при произвольных значениях аргу
мента |
необходимо, чтобы функция А(п) имела вид |
|
|
|
А(п)= ß-fofftt, |
(Z.r) |
|
где |
В - произвольный |
коэффициент. |
|
|
Поскольку масштаб |
может быть выбран с помощью основания |
|
логарифмог, которое произвольно, коэффициент В |
можно опустить. |
||
Таким образом, Р.Хартли считая, что количество информации в од ном сообщении равно логарифму числа возможных состояний источ - ника:
Э=6оуП. (ы)
Предположим, что передатчик имеет пъ различных сигналов. Тогда, чтобы закодировать п сообщений источника, необходимо составить п кодовых комбинаций. Число сигналов передатчика в одной кодовой комбинации длиной % будет определяться из усло вия
7
п= пь'*'.
Или
п - г . (2.9)
Подставляя полученный результат в (2 .8 ), получим
у= г. |
(*і0} |
Количество информации в одном сообщении равно числу сигна лов передатчика, необходимых для кодирования и передачи одного сообщения*
§ 3 . Аксиомы теории информации К. Шеннона
Мера информации, предложенная Р.Хартли, как не трудно за - метить, очень просто позволяет сравнивать возможности.различных дискретных кодов мечду собой. Она показываем, что можно записать равные количества состояний кодами с различными основаниями.
Тремя цифрами десятичного кода можно перечислить столько же go- стояний, что и десятью цифрами двоичного кода. Однако передава емое сообщение может и не использовать все возможности кода или канала передачи. Для алфавита в 32 буквы только трехбуквенные слова дадут (согласно результатам Хартли) 32^ = 32768 комбина ций, в то время как обычно мы пользуемся значительно большим числом букв. Можно убедиться, что с учетом фиксированных огра - ничений, ограничений существующих всегда (например, нет слов, состоящих из одинаковых букв, как "ааааа" или "ввввв"; не может быть слов, начинающихся с "Ы" или "Бп,и т .д .) , мера Хартли об - тается в силе. Uepa Хартли становится непригодной тогда, когда используются в выборе все комбинации символов, но не о равной частотой. В этом случае источник информации не использует все возможности кода и канала и передаваемое сообщение содержит меньшую информацию, чем это получается из июрмулы Хартли
Сод(г.
Мера Хартли монет измерять информацию только в некоторых част - ных случаях. В общем случае, когда различные сообщения использу-
8