- •Введение
- •Информация, сообщения, сигналы
- •Блок-схема передачи информации
- •Краткая история и примеры устройств передачи различных сообщений
- •Классификация сигналов
- •Количество информации дискретных сообщений
- •6.1 Свойства энтропии источника
- •6.1.1 Энтропия максимальна и равна:
- •6.1.2 Энтропия есть величина вещественная и неотрицательная, а так же ограниченная.
- •6.1.4 Энтропия есть величина вещественная и неотрицательная, а так же ограниченная.
- •6.2 Двоичный дискретный источник
- •Количество информации непрерывных сообщений
- •Статистически зависимые источники сообщений
- •Практические приложения теории информации
- •9.1 Сигнал и аддитивная помеха
- •9.2 Кодирование дискретных сообщений
- •9.3 Эффективное первичное кодирование
- •9.2.1 Метод укрупнения алфавита
- •9.2.2 Методы статистического кодирования
- •9.2.3 Кодирование в биологических структурах
- •Курсовая работа по теории информации
9.1 Сигнал и аддитивная помеха
Применим наши знания из области теории информации к исследованию процессов, происходящих при аналогово-цифровом преобразовании. В частности, при возникновении помех в канале связи. На первой диаграмме рисунка 21 изображен некий исходный аналоговый сигнал, который мы рассмотрим на интервале T.
Рисунок 21 – Сигнал и аддитивная помеха
При этом на диаграмме показаны отсчеты аналогового сигнала через соответствующий интервал, значения отсчетов обозначены как x1, x2, … и т.д.
Предположим, что в канале действует аддитивная помеха ξ(t), рассмотрим ее на интервале T. Аддитивная помеха – это помеха, которая суммируется с исходным сигналом. Рассмотрим, что произойдет, когда к отсчетам x1, x2,… и т.д. аддитивно добавятся отсчеты помехи ξ1, ξ2, … и т.д. Очевидно, что в этом случае мы получим новые значения отсчетов y1, y2, …и т.д., по которым будет восстановлен новый непрерывный сигнал.
Визуальное сравнение исходного непрерывного сигнала с тем, который мы получили (3я диаграмма) показывает, что эти сигналы отличаются. Между ними возникают определенные искажения.
Итак, через канал связи передается непрерывный сигнал длительностью T. В канале связи действует аддитивная помеха ξ(t). Пусть сигнал имеет спектр, размещающийся в полосе пропускания канала, а полоса пропускания обозначена ∆F.
На приеме сигнал может быть записан:
(43)
То есть полезный сигнал суммируется с аддитивной помехой.
Применив теорему Котельникова, мы будем рассматривать не сам сигнал и помеху , а соответственно отсчеты этого сигнала через интервал Котельникова. Рассмотрим отсчеты через интервал , заменив непрерывные функции отсчетами.
Количество информации в сигнале относительно сигнала равно:
(44)
Помеха и сигнал статистически независимы. Значит, . Тогда:
(45)
Для оценки эффективности системы связи часто используют понятие скорости передачи информации, которая фактически равна количеству символов или бит, приходящихся на единицу сообщения. В данном случае количество бит, приходящихся на единицу сообщения, можно определить через следующее выражение (вместо количество информации подставляем соответствующие выражения):
(46)
Будем полагать, что в передаваемом сигнале ограничена дисперсия. При этом условии вычислим скорость передачи, когда энтропия максимальна, взяв ее значение из (24)
Воспользовавшись этим, и, полагая статистическую независимость сигналов и помехи, допуская, что отчёты сигналов и помехи также имеют нормальный закон, получаем:
= (47)
Из условия статистической независимости сигнала и помехи следует, что . Тогда получаем:
(48)
Заменяя отношение дисперсий на отношение средних мощностей, окончательно получаем:
(49)
С учётом введённого понятие скорости, мы окончательно получаем очень важное соотношение, которое определяет потенциальную пропускную способность канала связи:
(50)
Это фундаментальное соотношение, которое повсеместно используется на практике, поскольку определяет теоретически достижимое границы по скорости передачи, выше которых мы получить не можем. Передачи при фиксированных значениях мощности сигнала, мощности помехи и полосе пропускания, устанавливающих естественные ограничения по потенциальной пропускной способности канала связи.