книги / Теория электрической связи. Основные понятия

90

информации, чем это возможно, поэтому одной из задач теории информации и техники кодирования является задача сокращения избыточности.

Однако при увеличении избыточности появляется возможность повышения помехоустойчивости передачи сообщений. Так, избыточность текста позволяет легко исправлять отдельные ошибки или восстанавливать пропуски букв или даже слов в телеграмме. У русского, да и у всех европейских языков, избыточность с учетом всех статистических зависимостей букв примерно одинакова Х ≈ 0,5. Она сформировалась в результате длительной общественной практики на основе требований исправления искажения слов и фраз под воздействием различных мешающих факторов. При практическом выполнении систем связи устанавливается компромиссное значение избыточности, обеспечивающее заданные скорость и надежность передачи сообщений.

Количество информации и энтропия непрерывных сообщений.

Непрерывное сообщение a(t) в общем случае принимает бесконечное число значений, как по времени, так и по уровню, поэтому количество информации и, соответственно, энтропия источника непрерывного сообщения, бесконечны. Однако в реальных условиях отсчеты сообщений по времени производятся в точках через интервал дискретизации Тд согласно теореме Котельникова. Кроме того, с заданной степенью точности непрерывное сообщение можно представить конечным числом значений L по уровню. Тогда среднее значение количества информации в одном отсчете (энтропию отсчета) можно вычислять аналогично дискретным сообщениям:

i=1

где pi – вероятность появления в квантованном сообщении i-го уровня. Если в (6.4) осуществить предельный переход, т. е. устремить число

уровней квантования L к бесконечности (шаг квантования ∆t при этом стремится к нулю), то получим величину

которую называют дифференциальной энтропией источника непрерывных сообщений. В (6.5) р(а) – плотность вероятности сообщения a(t). Однако из-за того, что р(а) зависит от масштаба а, величина h(a) отдельно не может служить абсолютной мерой неопределенности (информации) непрерывного сообщения. Она не обладает многими свойствами обычной энтропии дискретных сообщений, в частности, может принимать и отрицательные значения. Информационный смысл имеет не сама дифференциальная энтропия, а разность дифференциальных энтропий, например, на входе

91

и выходе канала связи. Именно для этих расчетов и используется диффе-

ренциальная энтропия в виде (6.5).

Производительность источника. Под производительностью источника понимают среднее количество информации, создаваемой источником в единицу времени. Если за время наблюдения tн источник дискретных сообщений выдал п сообщений, то количество произведенной им информации I(А, tн)=пН(А) и производительность источника

где tср – средняя длительность сообщения, tср = tн / n. Производительность источника численно равна отношению энтропии источника к средней длительности сообщения. Единица измерения производительности – бит/с.

Для непрерывных сообщений при их преобразовании в цифровую форму с частотой дискретизации fд и энтропией отсчета Hотсч(А) производительность источника

При числе равновероятных уровней квантования L вероятность каждого из них pi = 1/L, и из (6.4) и (6.7) получаем значение производительности источника непрерывных сообщений:

Пример. Если источник информации работает в диапазоне тональной частоты, то для частоты дискретизации 8 кГц, полученной по теореме В.А. Котельникова, и для L = 256 уровней квантования, производительность источника равна 64 кбит/с.

Производительность источника сообщений является одной из основных его характеристик, так как каналы передачи сообщений должны строиться так, чтобы обеспечить передачу выдаваемого источником количества информации.

6.3. Характеристики каналов связи

Скорость передачи информации. Под скоростью передачи информации понимают среднее количество информации, получаемое на выходе канала в единицу времени, размерность – бит/с.

Совершенно ясно, что в идеальном канале без помех и искажений количество принятой информации тождественно равно количеству переданной. Скорость передачи информации R по идеальному каналу вычисляется аналогично производительности источника (6.6) или (6.8) по информационным параметрам передаваемого первичного сигнала.

92

Наличие в канале помех приводит к искажению передаваемых сигналов, вследствие чего, приняв сигнал, мы не можем с полной достоверностью определить, какое же сообщение было передано. Можно утверждать, что в канале связи с помехами возникают потери информации. Сказанное подтверждает хотя бы такой всем известный факт: при разговоре по телефону при наличии помех абонент просит повторить сказанное, так как он не все понял. А это значит, что какая-то часть информации не пошла к получателю и потеряна в канале. Следовательно, при вычислении скорости передачи информации в канале с помехами необходимо учитывать потери информации. Скорость передачи информации в дискретном канале

где H(U) – энтропия передаваемого дискретного первичного сигнала; Нпот(U) – энтропия потерь в канале для дискретного первичного сигнала; tср – средняя длительность дискретного первичного сигнала.

Скорость передачи информации в непрерывном канале

где h(U) – дифференциальная энтропия передаваемого непрерывного сигнала; hпот(U) – энтропия потерь в канале для непрерывного сигнала; Fmax – максимальная частота спектра непрерывного первичного сигнала.

Потери информации определяются вероятностью ошибки Kош в дискретном канале и уровнем помех в непрерывном канале. Естественно, потери уменьшаются с улучшением качества передачи сигналов, т. е. при уменьшении вероятности ошибки и уровня помех. Исследования показывают, что при Рош<10-3 и отношении сигнал/помеха больше 20 дБ потери информации незначительны, составляют доли процента от переданной, поэтому для практических расчетов скорости передачи информации по каналам с хорошим качеством передачи сигналов можно не учитывать потери

информации в каналах.

Пропускная способность. Наибольшее значение скорости передачи информации по каналу связи при заданных ограничениях называется пропускной способностью канала (единица измерения – бит/с):

Под заданными ограничениями понимают тип канала (дискретный или непрерывный), характеристики сигналов и помех. Напомним, что канал называют дискретным, на входе и выходе которого имеются дискретные сигналы, непрерывным называется канал, на входе и выходе которого имеются непрерывные сигналы. Пропускная способность дискретного ка-

93

нала Сд.к, по которому передается m дискретных сигналов, вычисляется по формуле

где tи – минимальная длительность сигнала; р – вероятность ошибки сигналов в канале. Из (6.12) следуют частные случаи:

– в дискретном двоичном канале без помех

сигналов в инверсные, т. е. достаточно заменить 0 на 1 и 1 на 0, чтобы правильно восстановить переданный сигнал.

Для непрерывного канала максимальная скорость передачи информации достигается для гауссова канала с постоянными параметрами при условии, что и сигнал имеет нормальное (гауссово) распределение вероятности мгновенных значений при ограниченной средней мощности. Вычисления пропускной способности непрерывного канала производятся, считая, что на его вход подается модулированный сигнал s(u,t). Расчетная формула пропускной способности гауссова канала получена в 1948 г. К. Шенноном

94

где Fк – ширина полосы пропускания канала; Pс, Рп – средние мощности сигнала и помехи в полосе частот канала соответственно.

Из (6.15) видно, что пропускная способность непрерывного канала связи пропорциональна ширине полосы частот канала и отношению сигнал/помеха и растет с увеличением Fк и Pс/Pп. Формула указывает на возможность обмена ширины полосы пропускания на мощность сигнала при сохранении пропускной способности. Но, увеличивая ширину полосы пропускания канала, нельзя бесконечно увеличивать пропускную способность. С ростом Fк увеличивается мощность помех, поскольку для белого шума со спектральной плотностью мощности N0 Рп = N0 Fк. Максимальное значение, к которому стремится пропускная способность непрерывного канала с ростом ширины полосы канала, пропорционально отношению средней

мощности сигнала к спектральной плотности помехи.

Основная теорема Шеннона. Пропускная способность канала характеризует потенциальные возможности передачи информации. Они раскрываются в фундаментальной теореме теории информации, известной как основная теорема кодирования К. Шеннона. Формулировка ее для дискретного канала следующая: если производительность источника Н′(А) меньше пропускной способности канала С, т.е.

то существует способ кодирования (преобразования сообщения в сигнал на входе) и декодирования (преобразования сигнала в сообщение на выходе канала), при котором вероятность ошибочного декодирования может быть сколь угодно мала. Если же H'(A)≥С, то таких способов не существует. Для непрерывных каналов формулировка теоремы такая же, но под ошибкой следует понимать среднеквадратическую разность.

Таким образом, согласно теореме Шеннона, ошибки в канале не являются препятствием для безошибочной передачи информации. Ошибки несколько снижают пропускную способность канала, но если выполняется условие (6.16), то выбором способа кодирования и декодирования все их можно исправить. Однако в доказательстве теоремы, которое здесь из-за сложности не приводится, не указывается конкретный код, исправляющий все ошибки. Доказывается только, что код должен иметь большую разрядность, т. е. кодировать необходимо не отдельные буквы, а, пожалуй, слова или даже фразы. Такие коды являются весьма сложными. До настоящего времени еще не найдены коды, реализующие основное положение теоремы Шеннона: исправляющие все ошибки.

Пропускная способность канала, как предельное значение скорости безошибочной передачи информации, является одной из основных характеристик любого канала. Современные сетевые технологии (SDH, DSL, ATM, LAN) обеспечивают скорости передачи до 10 Гбит/с. Зная пропускную способность канала и информационные характеристики сообщений

95

(первичных сигналов), можно определить, какие сообщения (первичные сигналы) можно передавать по заданному каналу.

6.4. Показатели эффективности систем связи

Под эффективностью в широком смысле понимают степень использования каких-то материалов, средств, ресурсов, времени и т. д. В системах связи основными ресурсами можно считать пропускную способность канала C, ширину полосы частот Fк, мощность сигнала Pс. Для оценки степени их использования профессором А.Г. Зюко было предложено сравнивать их со скоростью передачи информации R. Введенные им коэффициенты эффективности являются важнейшими техническими показателями систем передачи информации.

Наиболее общей оценкой эффективности системы связи является ко-

эффициент использования пропускной способности канала

который называют информационной эффективностью. В реальных каналах скорость передачи информации всегда меньше пропускной способности, поэтому 0 < η < 1.

В системах с ограниченной полосой, например кабельных, важной характеристикой является коэффициент использования ширины полосы частот канала Fк:

который называют частотной эффективностью.

В ряде практических случаев удобной оценкой является коэффициент использования мощности сигнала Pс при спектральной плотности мощности помехи N0:

который называют энергетической эффективностью. Этот коэффициент играет важную роль в системах с ограниченной энергетикой, например, спутниковых.

Рассмотренные коэффициенты эффективности указывают на технические преимущества системы связи. Однако не следует считать, что они полностью определяют целесообразность применения того или иного метода модуляции или кодирования. Часто лучшие по техническим показателям эффективности методы построения систем связи трудны для практической реализации, поэтому при организации систем связи необходимо учитывать также экономические показатели.

96

7. КОДИРОВАНИЕ ИСТОЧНИКОВ И КАНАЛОВ СВЯЗИ

7.1. Цель кодирования. Основные понятия и определения

Под кодированием в широком смысле понимают любое преобразование сообщения в сигнал путем установления взаимного соответствия между ними.

Как при передаче, так и при хранении и обработке информации значительные преимущества дает дискретная форма представления сигналов. Поэтому в тех случаях, когда первичные сигналы информационных систем являются непрерывными, происходит, как правило, предварительное преобразование их в дискретные сигналы. В связи с этим термин «кодирование» относят обычно к дискретным сигналам и под кодированием в узком смысле понимают отображение дискретных сообщений сигналами в виде определенных сочетаний символов. Совокупность правил, в соответствии с которыми производятся эти операции, называют кодом.

Реализация кодирования на передающей стороне всегда предполагает применение обратной процедуры – декодирования – для восстановления принятого сообщения. Устройства, осуществляющие кодирование и декодирование, называют соответственно кодер и декодер. Часто кодер и декодер объединяются в единое устройство – кодек.

Дискретное сообщение, формируемое источником (отправителем), представляет собой последовательность знаков, выбираемых из определенного набора. Например, перед отправкой телеграммы (сообщения) человек составляет ее текст, употребляя при этом буквы и символы из набора (алфавита), известного ему и получателю. Набор знаков, из которых формируется сообщение, называется первичным алфавитом или алфавитом источника. Количество знаков в этом алфавите Ма бывает различным, но обычно достаточно большим. Так, в русском языке для сообщения в виде текста используется набор из 33 букв, 10 цифр, более 15 различных условных знаков (пробел, точка, запятая, сложение, вычитание, умножение и т. д.). В некоторых других языках, особенно восточных, набор знаков первичного алфавита еще больше.

Кодирование заключается в том, что каждый знак сообщения ui заменяется комбинацией из небольшого числа стандартных символов, а далее эти стандартные символы преобразуются в стандартные электрические сигналы U (рис. 7.1). Необходимость перехода в электросвязи к изображению знаков первичного алфавита небольшим числом стандартных сигналов связано с тем, что из-за действия помех в приемнике легче принимать небольшое число сигналов.

Врезультате кодирования каждый знак сообщения представляется

ввиде последовательности стандартных символов вторичного алфавита –

кодовых комбинаций.

97

Вторичным алфавитом, или основанием кода, называют количество стандартных символов, с помощью которых производится отображение знаков сообщения. Таким образом, код – алгоритм (правило) перехода от первичного алфавита к вторичному. Характерным примером кода для передачи буквенно-цифровых текстов является код Морзе. В этом коде в качестве символов используются точки, паузы разной длительности, тире. В двоичном коде, например коде Бодо, используются лишь два различных символа, обозначаемых как 0 и 1.

ui

Рис. 7.1. Преобразование сообщений при кодировании

Основными параметрами любого кода являются: первичный алфавит или алфавит сообщения, Ма – число знаков сообщения, которое необходимо закодировать; вторичный алфавит, или основание кода, m – число символов, с помощью которых производится кодирование, отличающихся друг от друга по каким-либо физическим признакам; разрядность кода п – число символов вторичного алфавита в кодовой комбинации.

Кодирование преследует несколько целей. Первая из них заключается в том, чтобы представить сообщения в такой системе символов, которая обеспечивала бы простоту и надежность аппаратной реализации устройств связи и их необходимую эффективность. Вторая цель кодирования состоит в том, чтобы обеспечить наилучшее согласование свойств источника сообщений со свойствами канала связи. Путем такого согласования добиваются выигрыша во времени передачи, т. е. повышения эффективности системы. Наконец, при наличии помех кодирование может обеспечить достаточно высокую достоверность передачи или обработки информации.

7.2. Классификация кодов

По своему назначению кодирование подразделяется на примитивное, экономное и помехоустойчивое.

Примитивное, или безызбыточное, кодирование применяется для согласования алфавита источника и алфавита канала. Отличительное свойство примитивного кодирования состоит в том, что избыточность дискретного источника, образованного выходом примитивного кодера, равна избыточности источника на входе кодера.

98

Примитивное кодирование используется также в целях шифрования передаваемой информации и повышения устойчивости работы системы синхронизации. В последнем случае правило кодирования выбирается так, чтобы вероятность появления на выходе кодера длинной последовательности, состоящей только из нулей или только из единиц, была минимальной. Подобный кодер называется также скремблером (англ. scramble – перемешивать). Особенности систем шифрования и синхронизации изучаются в специальных курсах.

Экономное кодирование, или сжатие данных, применяется для уменьшения времени передачи или требуемого объема памяти при ее хранении. Отличительное свойство экономного кодирования состоит в том, что избыточность источника, образованного выходом кодера, меньше, чем избыточность источника на входе кодера. Экономное кодирование применяется в ЭВМ. Так, последние версии операционных систем обязательно содержат в своем составе программы сжатия данных (динамические компрессоры и архиваторы). Стандарты на модемы для связи между ЭВМ по телефонным сетям общего пользования (например V.42bis) включают сжатие в число процедур обработки данных.

Помехоустойчивое, или избыточное, кодирование применяется для обнаружения и (или) исправления ошибок, возникающих при передаче по дискретному каналу. Отличительное свойство помехоустойчивого кодирования состоит в том, что избыточность источника, образованного выходом кодера, больше, чем избыточность источника на входе кодера. Помехоустойчивое кодирование используется в различных системах связи, при хранении и передаче данных в сетях ЭВМ, в бытовой и профессиональной аудио- и видеотехнике, основанной на цифровой записи.

Коды можно классифицировать по различным признакам. По условиям построения кодовых комбинаций коды делятся на равномерные и неравномерные. В равномерных кодах все сообщения передаются кодовыми группами с одинаковым числом элементов п = const. Так, например, телеграфный код Бодо является равномерным кодом с п = 5. При использовании неравномерных кодов разные сообщения могут передаваться кодовыми группами, содержащими неодинаковое число элементов (n = var).

По числу различных символов (m) в кодовых комбинациях различают коды:

–единичные, m = 1;

–двоичные, m = 2;

–многопозиционные, m > 2.

Вединичном коде используются одинаковые символы. Кодовые комбинации отличаются друг от друга лишь количеством символов (импульсов). Такие коды называют еще числоимпульсными. Единичный код практически не используется для передачи информации по каналу связи,

аиспользуется лишь при промежуточных преобразованиях сигналов на

99

передающей и приемной сторонах. Наибольшее распространение получили двоичные коды. Многопозиционные коды пока не нашли широкого применения в информационных системах.

Далее коды можно разделить на блоковые и непрерывные (сверточные). Блоковыми называют коды, в которых последовательность элементарных сообщений источника разбивается на отрезки и каждый из них преобразуется в определенную последовательность (блок) кодовых символов {bi}, называемую кодовой комбинацией bk (k = 1, 2, 3, …, N). Непрерывные коды образуют последовательность символов {bi}, не разделяемую на последовательные кодовые комбинации: здесь в процессе кодирования символы определяются всей последовательностью элементов сообщения.

По форме представления в канале передачи различают последовательные и параллельные коды. При последовательной форме элементарные сигналы, составляющие кодовую комбинацию, посылаются в канале передачи последовательно во времени. Как правило, они разделены между собой определенным временным интервалом.

При параллельной форме элементарные сигналы посылаются одновременно по нескольким электрическим цепям, число которых соответствует количеству элементов кода. Параллельная форма представления кода часто используется при преобразовании аналоговых величин в код и обратных преобразованиях, в устройствах памяти, регистрации, при логической и математической обработке информации, когда важную роль играет быстродействие.

Наконец, по основным законам кодообразования коды можно разделить на два класса: комбинаторные (нечисловые) и арифметические (числовые).

Комбинаторные коды строятся на законах теории соединений. Примером таких кодов является код по закону сочетаний. В этом коде из m различных символов образуются кодовые комбинации из n < m символов. Длина кода постоянна и равна п, возможное число кодовых комбинаций

N = Cmn . Например, код по закону сочетаний может образовать следующие

комбинации из трех элементов а, b, и с по два элемента: ab, ac, bc. Арифметические коды основаны на известных системах счисления.

В системах связи используются преимущественно арифметические (цифровые) коды.

7.3. Кодирование при отсутствии помех

Под кодированием будем понимать представление п различных сообщений xi, выдаваемых источником, в некотором стандартном кодовом алфавите, содержащем т различных символов. Если m < n, каждому возможному сообщению источника необходимо ставить в соответствие неко-