книги из ГПНТБ / Толстоусов, Г. Н. Прикладная теория информации учеб. пособие

Эта величина называется избыточностью. Чем больше энтропия ис­ точника отличается от максимально возможной Нтссх для данного числа состояний, тем больше избыточность. При определении избы­ точности следует учитывать вероятности состояний источника, ста­ тистические связи в случайной последовательности одного источни­ ка и статистические свяаи между источниками, входящими в объе­ динение, т .ѳ . все факторы, увеличивающие избыточность и позво­ ляющие уменьшить число сигналов передатчика, необходимых для кодирования одного сообщения, и тем самым уменьшить время пере­ дачи информации.

Однако применение оптимального кодирования допустимо толь­ ко при отсутствии помех. Если при передаче будет неправильно принят хотя бы один сигнал передатчика, это может привести к неверному декодированию очень большого числа сообщений.

§ I I . Пропускная способность канала связи при отсутствии помех. Согласование источника

и канала связи

Чтобы увеличить У , необходимо увеличивать числитель и уменьшать знаменатель. Очевидно, что возможно увеличить скорооть передачи информации, уменьшая длительность передаваемого сигна­ ла Ч/ . Однако в настоящем курсе не рассматриваются вопросы, возможного изменения технических характеристик канала овязи. За­ дача ставится следующим образом: какова максимальная скорость передачи информации для заданных характеристик передатчика? Чи­ сло сигналов и их длительности считаются заданными. Рассмотрим случай, когда все m сигналов передатчика имеют одинаковую

49

длительность, сигналы взаимонезависимы и помехи при передаче отсутствуют. Информация по линии связи передается с помощью сигналов передатчика. Каждый сигнал будет передавать максималь­ ное количество информации

ли равновероятны. В этом случае максимально возможная скорость передачи информации

Достигается эта величина при использовании оптимальных способов кодирования, рассмотренных в предыдущем параграфе.

К.Шеннон ввел понятие пропускной способности канала связи С как предельно достижимой для данного канала скорости пере­

дачи информации:

Для передатчика с сигналами равной длительности, различа­ ющихся только по уровню, и канала без помех пропускная способ­ ность.

растает с увеличением числа сигналов. Однако при выборе числа сигналов передатчика следует учитывать еще ряд факторов.

Рассмотрим, какую корректировку в.полученный результат

50

принимаемого сигнала будет отличаться от переданного на вели­ чину, меньшую . Тогда у приемника появляется возможность

принятия правильного решения о значении переданного сигнала.

51

Рис. И . 2

Эта величина представляет собой минимально возможное вре­ мя передачи сигнала, если необходимо уверенно различать все пе­ реданные сигналы. Подставляя в ( I I . 5) Т - Тп . получим про­ пускную способность

показан на

рис. I I . 3. Видно, что для принятых условий различения сигналов наиболее выгодным является двоичный код.

Приведенный пример показывает, что при выборе основания кода следует учитывать реальные параметры канала.

Согласование источника информации и канала связи без помех сводится к следующему. Данному источнику информации необходимо подобрать такой канал связи, по которому можно передать все со­ общения источника.

Источник информации характеризуется величиной энтропии на одно сообщение Н(Х) (измеряется в бит/сообщ.) и средней час-

52

Ютой смены состояний Л (измеряется в сообщ./сек). Канал свя­ зи характеризуется пропускной способностью С (бит/сек).

Существует теорема Шеннона, которая утверждает, что можно так закодировать сообщения источника, чтобы передавать их по каналу связи со средней частотой

«Ѵ>>

где <?- сколь угодно малая величина.

g Передавать сообщения со средней частотой, большей чем -Ң- , невозможно.

Рассмотрим канал связи с передатчиком, имеющим набор сиг­ налов равной длительности. Тогда можно привести следующее дока­ зательство теоремы.

. В этом случае пропускная способность канала связи согласно

(II .5)

53

При кодировании оптимальным кодом средняя длина кодовой комби­ нации согласно (10.8)

Здесь при вычислении энтропии основание логарифмов также равно ПЪ . Бремя, необходимое для передачи одного сообщения, есть время, необходимое на передачу кодовой комбинации этого сообще­

ния. В среднем это время

Теорема доказана.

Следовательно, если средняя частота смены состояний источ­ ника информации А не превышает максимально возможной частоты передачи сообщений по линии связи V , все сообщения источни­ ка будут переданы. По этому принципу следует выбирать канал связи для источника информации.

Рассмотрим следующий пример. Дан источник информации с

Может ди этот передатчик передать все сообщения источника?

54

частоты источника Я и все сообщения могут быть передан

Будем кодировать блоки из четырех сообщений источника оп­ тимальным неравномерным кодом. Средняя длина кодовой комбина­ ции блока будет при этом равна 1,96. Передатчик может передать эти 1,96 сигнала, т .е . четыре сообщения источника, за 3,92 сек. Источник выдает четыре сообщения за k секунды. Следовательно, все сообщения будут переданы.

§ 12. Передача информации при помехах. Частное количество информации.

В процессе передачи информации могут возникать различные помехи. Воздействие помехи на передаваемый сигнал приводит к тому, что принятый сигнал отличается от переданного.

Причинами помех могут быть неисправности и шумы передатчи­ ка и приемника, ошибки операторов, сбои аппаратуры, атмосферные разряды, изменение условий распространения радиоволн, ошибки измерения и т .д . Помеха монет быть регулярной, постоянной. На­ пример, вместо одной буквы систематически передается другая,но все время одна и та не. Или к переданному сигналу добавляется все время еще один постоянный сигнал. Такая помеха не представ­ ляет большой опасности, так как после её обнаружения принятые сигналы постоянным образом корректируются и система будет функ­ ционировать нормально при наличии этой помехи. Более опасными являются случайные помехи. При воздействии аддитивной помехи к

55

ся цифра). Но при передаче без помех принятое сообщение ^ соответствует переданному сообщению с тем кѳ порядковым номе­ ром. При воздействии помех количество принимаемых сообщений должно быть равно количеству передаваемых. Все многообразие ко­ довых комбинаций, возникающее из-за воздействия помех и прияммаѳмоѳ приемником, должно быть разбито на гь групп, по числу передаваемых сообщений. Способ разбиения пока не рассматривает­

ма этих сообщений определяется условными вероятностями^^-/#.;,/!, L -1 , 1 . . гь) . эти вероятности могут быть по­ дучены путем анализа действующих помех и статистической обрабо­

До приема сообщения источник X имел меру неопределенно­ сти, равную энтропии Н(Хj . После приема сообщения у источни­ ка осталась неопределенность, так как нам неизвестно передан­ ное сообщение. Но источник JC и получатель У" являются ста - тистнчѳски связанными системами. Эта связь определяется значе­ ниями условных вероятностей. Поэтому, когда извѳогно состояние

56

I

’системы У (сообщение принято), неопределенность источника равна условной энтропии H (X/Y) . Тогда можно положить, что количество информации в принятых сообщениях относительно источ­ ника -X в среднем равно изменению неопределенности источника

fy - x =Hfe)-H (X /Y ).

ѵчитывая соотношение (6 .10), получаем, что количество ин­ формации в принятых сообщениях, по крайней мере, не отрицатель­ но. (Тогда помехи таковы, что статистические связи между источ­ ником и получателем информации разрушаются (источник и получа­ тель статистически независимы), условная энтропияH(X/Y) равна априорной Н(Х) и количество информации равно нулю. В остальных случаях информация положительна. Однако, это утверн-

Этот результат может быть представлен следующим образом. Энтро­ пия Н(У)есіъ неопределенность получателя до передачи сообще­ ний. Неопределенность зависит от априорных вероятностей принимаемых сообщений. Энтропия Н(У/Х) есть неопределенность получателя, когда нам известны переданные (но не принятые) со­ общения. Тогда выражение (12.2) есть изменение неопределенно­ сти получателя после того, как нам становится известным пере­ данное сообщение. Следовательно, количество информации, выра­ жающееся в переданных сообщениях относительно получателя, в среднем равно количеству информации, содержащемуся в принятых сообщениях относительно источника. Количество информации есть обратимая величина, что можно записать следующим образом:

Согласно (6.12) выражение (12 .I) может быть представлено

57

так:

Используя операцию математического ожидания (4.23) и (5.3) запишем

Ь~у=м[- &$Р(Х)]+м[-£о$Р(У)]-

-м[~fogР(К У)]= МІбоу ppQ p(yj

Раскрывая операцию математического ожидания и учитывая,чт< вероятность появления каждого конкретного выражения в квадрат ных скобках есть вероятность одновременного появления двух со­ бытий X=Xö и У- , *»е« вероятность произведения

, получим

держащееся во всех возможных переданных или принятых сообщени­

58