2.7. Основная теорема Шеннона, ограничение возможностей использования оптимального кодирования на практике

Рассмотрим проблему кодирования в канале с помехами с более общих позиций, учитывая возможности предварительного оптимально­го кодирования источника сообщений. Будем полагать, что при ко­дировании в канале сообщениями являются двоичные кодовые блоки (слова) длиной п. Их число определяется величиной М = 2^nR, так что log М = nR. В соответствии с утверждением теоремы кодирования ис­точника в среднем на каждое сообщение источника приходится H(A) двоичных кодовых символов. Пусть T_i и Т_к — длительности символов источника и канала. При этом условие передачи закодированных со­общений по каналу без задержки во времени можно записать в виде lT_i = nТ_к, где в соответствии с теоремой кодирования источника и определением скорости кода в канале

(2.11)

Поскольку в соответствии с прямой теоремой Шеннона о кодиро­вании в канале с шумами безошибочная передача при условии возможна лишь при выполнении неравенстваR< Н(А) < С, из этого соотношения следуют очевидные неравенства

или (2.12)

Последнее неравенство позволяет сформулировать основную теорему Шеннона в следующем виде:

Если производительность источника меньше пропускной способно­сти канала с помехами в единицу времени, Н'(А) < С', то существует способ кодирования и декодирования, при котором вероятность оши­бочного декодирования может быть сколь угодно малой.

Допустим теперь, что в условиях, когда оптимальное кодирование источника не производится, каждой кодовой комбинации символов дво­ичного источника длиной 7} ( - число разрядов в исходном коде) при оптимальном кодировании в канале ставится кодовое слово длины n. Число кодовых слов, удовлетворяющих требованию взаимной одно­значности равно (R — скорость кода). В условиях отсутствия задержек во времени при кодировании

или

Поскольку безошибочное декодирование обеспечивается при усло­вииR< С, отсюда получаем ограничение на максимально возмож­ную скорость передачи:

Известное выражение, связывающее пропускную способность двоичного симметричного канала с параметром р — вероятностью оши­бочного различения кодового символа на выходе принятого устройства демодуляции, позволяет оценить состояние дискретного канала с шума­ми, при котором использование процедуры оптимального по Шеннону кодирования становится нецелесообразным.

Воспользуемся известной зависимостью параметра р от величины отношения сигнал/шум на выходе оптимальных демодуляторов. Из ре­зультатов теории оптимального приема следует, что вероятность ошибки может быть представлена в виде

где - так называемая «дополнительная функция ошибок»; Р — «мощность» элементарного символа; Т_к — длительность канального символа; α — коэффициент, равный 2 при ис­пользовании в модуляторе противоположных сигналов или 1 при ис­пользовании ортогональных сигналов.

Тогда величина пропускной способности канала может быть пред­ставлена следующим образом:

где введено обозначение . Теперь можно по­ставить вопрос об оптимизации величины Т, что эквивалентно оптими­зации скорости передачи информации за счет обеспечения наиболь­шей пропускной способности канала связи при сколь угодно высокой точности передачи сообщений. В работе [2] показано, что максимум пропускной способности достигается при и оказывается рав­ным 0,46αP/N₀. Отсюда следует, что при заданных значениях отно­шения сигнал/шум максимально допустимая вероятность ошибки (для заданной информационной скорости передачи), при которой кодиро­вание ещё может обеспечить сколь угодно высокую верность приема, оказывается равной