- •Глава 4 Информационные процессы и сигналы
- •4.1. Общая схема передачи информации в линии связи
- •4.2. Модели сигналов
- •Модуляция гармонических сигналов
- •Квантование по уровню
- •Квантование по времени
- •Т еорема в.А. Котельникова
- •4.3. Передача информации по каналу связи без учета помех Пропускная способность дискретного канала связи без помех
- •Скорость передачи информации по дискретному каналу без помех
- •Эффективное статистическое кодирование сообщений. Теорема Шеннона для каналов без помех
- •Теоремы побуквенного неравномерного двоичного кодирования
- •1.Прямая теорема
- •2.Обратная теорема
- •4.4. Передача информации по каналу с помехами
- •Понятие о канальной матрице
- •Пропускная способность бинарного симметричного канала с помехами типа «инверсия»
- •Пропускная способность симметричного канала со стиранием
- •Теорема Шеннона для дискретного канала с помехами
- •Пропускная способность непрерывного канала связи с помехами
- •Теорема Шеннона для непрерывных каналов с помехами
4.3. Передача информации по каналу связи без учета помех Пропускная способность дискретного канала связи без помех
Пусть M – первичный алфавит, которым оперирует источник информации, а m – вторичный алфавит, используемый при передаче сообщения по каналу связи. Пропускная способность канала связи определяется формулой:
Введем величину V – частота снятия отсчетов (т.е. сколько элементарных сигналов пройдет в единицу времени). Физически эта величина определяется частотой тактового генератора канала связи.
V=n/T=1/τ0, где τ0 – длительность элементарного импульса в канале.
Тогда C(s)=V∙Hmax(s) = V∙log2m. (4.2)
Отсюда (бит в секунду) (4.3)
Для двоичных сигналов m = 2, следовательно
Когда речь идет о дискретизации непрерывных сигналов, стараются, чтобы τ0 определялось в соответствии с теоремой Котельникова, т.е. τ0 = Δt. Тогда . Величину F называют частотой манипуляции, а выражение C = 2F – пределом Найквиста. Величина С является характеристикой канала связи, определяется его конструктивными особенностями.
Скорость передачи информации по дискретному каналу без помех
Скорость передачи информации – это количество информации, передаваемое по каналу в единицу времени. Если тактовый генератор канала выдает V элементарных импульсов в единицу времени, а средняя длина кода одного символа первичного алфавита составляет K сигналов вторичного (бинарного) алфавита, то, очевидно, отношение V/K будет выражать число символов первичного алфавита, транслируемых по каналу за единицу времени. Если с каждым из символов первичного алфавита связано среднее количество информации Н (энтропия источника сообщений), то можно найти общее количество информации, передаваемой по каналу связи за единицу времени – эта величина называется скоростью передачи или (будем обозначать ее J).
, где Н – энтропия источника информации, определяемая известной формулой (3.8): .
Размерностью скорости J, как и пропускной способности C, является бит/с. Каково соотношение этих характеристик? Выразим V из (4.2) и получим:
. (4.4)
Согласно теории информации Шеннона при любом способе кодирования длина кода подчинена соотношению , хотя может быть сколь угодно близкой к этому значению. Следовательно, всегда J ≤ C, т.е. скорость передачи информации по каналу связи не может превысить его пропускной способности.
Пример 4.1. Первичный алфавит состоит из трех знаков с вероятностями p1 = 0,2; p2 = 0,7; p3 = 0,1. Для передачи по каналу без помех используются равномерный двоичный код. Частота тактового генератора 500 Гц. Какова пропускная способность канала и скорость передачи?
Решение. Поскольку код двоичный, m = 2; C =V = 500 бит/с.
Энтропия источника: H = – 0,2·log20,2 – 0,7·log20,7 – 0,1·log20,1 = 1,16 бит
Поскольку код равномерный K H/log22 = 2 (т.е. для кодирования каждого знака первичного алфавита используется 2 элементарных разряда).
Следовательно, в силу (4.4), получаем:
(бит в секунду)
Видно, что реальная скорость передачи информации меньше пропускной способности. Так получается вследствие того, что каждый символ первичного алфавита, занимая два разряда, несет информации меньше двух бит. Если приблизить длину кода К к значению реальной энтропии, можно увеличить скорость передачи информации.