Теорема Шеннона для непрерывных каналов с помехами
Производительность
источника непрерывных сообщений
пропорциональна энтропии источника
.
Поскольку энтропия источника непрерывных
сигналов – бесконечно большая, то и
производительность такого источника
– бесконечно большая. На практике даже
при безошибочной передаче сигнала по
каналу связи приемник воспринимает
поступивший сигнал с какой-то погрешностью.
Принятое сообщение
Z(t) и переданное X(t) называются
эквивалентными, если различие между
ними несущественно в смысле выбранного
критерия (обычно это критерий
среднеквадратичного отклонения).
Вводится понятие отклонения ε(t) = x(t)
– z(t),
задается предельная погрешность
.
Если среднее за период отклонение
<
,
то реализации считаются эквивалентными.
Эпсилон-энтропией Hε(X) называется минимальное среднее количество информации, содержащееся в одном отсчете сообщения Z(t) относительно сообщения X(t), при котором эти сообщения еще эквивалентны.
В соответствии с соотношением Hε(X) = min {I(X,Z) | ≥ ε2} эпсилон-энтропия определяет количество существенной информации, содержащейся в одном отсчете непрерывного сообщения.
Производительность
источника определяется как
.
По теореме Котельникова
,
где F – полоса
пропускания, значит R = 2F∙Hε(X).
Теорема Шеннона для непрерывного канала с помехами (третья теорема):
Если при заданном критерии эквивалентности сообщений производительность источника информации меньше пропускной способности канала, то есть R < C, то существует такой способ кодирования и декодирования в обобщенном смысле (т. е. преобразование сообщения в сигнал и обратно), при котором неточность воспроизведения сообщения сколь угодно близка к . При R > C такого способа не существует.