Пропускная способность бинарного симметричного канала с помехами типа «инверсия»
•Рассмотрим работу достаточно типичной системы связи, в которой информация передается двоичными сигналами «0» и «1», имеющими разные уровни квантования. Приемное устройство анализирует выход канала в течение промежутка времени, соответствующего длительности элементарного сигнала и вычисляет некоторую скалярную величину µ (уровень принятого сигнала). Решение принимается сравнением µ с некоторым порогом ρ. При µ > ρ принимается решение в пользу «1», в противном случае, при µ < ρ, решением будет «0».
•При правильном выборе порога ρ вероятности ошибок при передаче сигналов будут одинаковыми, и мы приходим к модели бинарного симметричного канала с инверсией (Б.С.К.И.)
•Недостаток такой простейшей схемы приема состоит в том, что демодулятор теряет информацию о надежности принимаемых сигналов. Очевидно, значениям µ ≈ ρ соответствуют ненадежные решения, и эти сведения могут быть полезными при последующей обработке информации.
•Сформулируем модель Б.С.К.И. Пусть на вход канала подаются сигналы
двух типов (u1 и u2 – например, импульс и пауза) и они же принимаются на выходе, т.е. {u} = {v}, Nu = Nv. Безошибочный прием сигнала означает, что при посылке u1 принимается v1, а при посылке u2 принимается v2.
•Пусть, далее, вероятность ошибки передачи для обоих типов сигналов одинакова и равна p; тогда, вероятность безошибочной передачи равна 1 - p. То есть можно записать:
•P(v1|u1) = P(v2|u2) = 1 – p; P(v2|u1) = P(v1|u2) = p,
•В виде графа такой канал можно представить так:
• |
|
1-p |
• |
u1 |
v1 |
• |
|
p |
|
|
|
• |
|
p |
• |
|
|
• |
u2 |
v2 |
• |
|
1-p |
• |
Такой канал называется двоичным симметричным. |
• |
Найдем пропускную способность канала. Потребуется вычислить |
|
I(u,v), найти скорость передачи информации и установить ее |
|
максимум как функции от вероятности ошибки р. |
• |
I(u,v) = H(v) – H(v|u) |
• |
Вычислим энтропию принятого сигнала: |
• |
H(v) = - P(v1)∙log2P(v1) – P(v2)∙log2P(v2) |
• |
и энтропию шума: |
• |
H(v|u) = -P(u1)∙(P(v1|u1)∙log2P(v1|u1) + P(v2|u1)∙log2P(v2|u1)) – |
|
P(u2)∙(P(v1|u2)∙log2P(v1|u2) + P(v2|u2)∙log2P(v2|u2)). |
•Подставляя вероятности из матрицы перехода, получим:
•H(v|u) = -P(u1)∙((1-p)∙log2(1-p) + p∙log2p) - P(u2)∙(p∙log2p + (1-p)∙log2(1- p))
•= -(P(u1) + P(u2))∙((1-p)∙log2(1-p) + p log2p)) = -(1-p)∙log2(1-p) – p∙log2p)
•При заданных вероятностях ошибок энтропия H(v|u) – величина постоянная. Максимум скорости передачи информации можно
искать, варьируя вероятностями P(vi). Известно, что для бинарной системы энтропия будет максимальна, если сигналы равновероятны, и равна при этом 1, то есть H(v) = 1. Значит, пропускная способность будет равна
C 1 max(H(v) H(v | u)) 1 (1 plog2 p (1 p)log2 (1 p))
• График функции С(р) изображен на рисунке 4.6.
C
1/τ
1 p
0.5
•Максимального значения равного 1/τ функция C достигает при p = 0 (очевидно, это означает отсутствие помех) и при p = 1, что соответствует ситуации, когда канал полностью инвертирует входные сигналы (т.е. заменяет 0 на 1, а 1 на 0) - это не служит препятствием для однозначной идентификации посланного сигнала по принятому и, следовательно, не снижает пропускной способности канала.
•Во всех остальных ситуациях (т.е. при 0 < p < 1) верно неравенство C < 1/τ. Наконец, при p = 0.5 пропускная способность становится
равной 0 – это вполне естественно, поскольку вероятность искажения 0.5 означает, что независимо от того, какой сигнал был послан, на приемном конце с равной вероятностью может появиться любой из двух допустимых сигналов. Ясно, что передача в таких условиях оказывается невозможной.
•Поскольку канал двоичный, 1/τ = 1/τ0 = C0 (так обозначим идеальную пропускную способность, то есть пропускную способность двоичного канала без помех). Произведя соответствующую замену, получим:
C С0 (1 plogp (1 p)log(1 p))
•Выражение в скобках не превышает 1, следовательно, справедливо
соотношение: С ≤ C0, т.е. можно считать доказанным, что наличие помех снижает пропускную способность (и даже может сделать ее равной 0).
•ИТАК,
•Помехи, существующие в реальном канале связи, приводят к снижению его пропускной способности (по сравнению с аналогичным каналом без помех).
•Пропускная способность реального канала может быть рассчитана по известным априорным и апостериорным вероятностям. Для их определения требуются статистические исследования передачи информации в канале.
•Теорема Шеннона для дискретного канала с помехами
•Для дискретного канала с помехами К.Шенноном была доказана следующая
теорема (вторая теорема Шеннона):
•Если производительность источника R ≤ C – ε, где ε – сколь угодно малая положительная величина, то существует способ кодирования, позволяющий передать все сообщения источника со сколь угодно малой вероятностью ошибки.
•Если производительность информационной системы меньше пропускной способности канала, то сообщение от этого источника можно преобразовать так, чтобы передавать их по каналу с помехами с любой степенью точности, т. е. за счет существования избыточности в сообщениях, вводимой специальным образом, можно уменьшить вероятность ошибки до сколь угодно малой величины.
•С точки зрения технической реализации эта теорема означает, что существует способ кодирования и декодирования, при котором вероятность ошибочного декодирования может быть сколь угодно малой. Если R > С, то таких способов не существует.
•Вторая теорема Шеннона является идеологической основой для существования помехоустойчивого (корректирующего) кодирования в каналах связи.