Классификация сигналов
В теории информации, как и в теории связи, все виды сигналов принято подразделять на 4 типа, рассматривая сигнал как изменяющийся во времени процесс.
Рисунок 13 – Типы сигналов
Первая диаграмма соответствует так называемому непрерывному (аналоговому) сигналу. В этом случае сигнал изменяется непрерывно во времени и непрерывно по уровню, будь то изменяющийся ток или напряжение.
Второй тип сигналов имеет дискретно-непрерывный характер. Этот сигнал принимает значения из непрерывного множества в дискретные моменты времени. Часто его называют отсчетами непрерывного сигнала.
Третий тип – это непрерывно-дискретный сигнал. В отличие от предыдущего типа, в данном случае уровень сигнала изменяется от одного к другому на определенные дискретные значения, но эти изменения могут происходить в любой момент времени. Время непрерывно, а значения сигнала - дискретны.
Наконец, четвертый тип сигнала – дискретный сигнал или цифровой. Для данного сигнала характерно то, что данный сигнал принимает значения из некого счетного (дискретного множества) в дискретные моменты времени.
Цифровой сигнал в условиях развития интеграционных процессов между системами связи и вычислительной техники, приобрел колоссальное значение в силу возможности экономично и эффективно осуществлять самые разные преобразования сигналов. При этом чаще всего речь идет о цифровом сигнале, принимающем значения 0 или 1 в дискретные моменты времени. Такой сигнал называют двоичным.
Мы
уже познакомились с блок-схемой системы
передачи информации, которая была
предложена Клодом Шенноном. Согласно
этой блок-схеме, в
СПИ сообщение
,
выбираемое из множества A,
обладает информацией I(A;A)
, называемой собственной информацией,
содержащейся в сообщении
относительно исходного сообщения A.
Отклик ПДУ
переносит информацию I(A;S),
называемую взаимной информацией,
содержащуюся в сигнале
относительно сообщения A.
Аналогично
I(A;S*)
- взаимная информация, содержащаяся в
сигнале
,
наблюдаемого на приеме относительно
сообщения A,
а I(A;A*)
- взаимная информация, содержащаяся в
восстановленном сообщении
относительно передаваемого сообщения
A.
Поскольку информация при преобразованиях
сообщений и сигналов не может увеличиться,
то в любой СПИ справедливы следующие
неравенства:
.
Равенства достигаются лишь в идеальном случае, когда в СПИ нет ни искажений, ни шумов, ни помех. В этом случае вся информация, вырабатываемая ИС поступает к ПС.
В реальном случае в СПИ имеются потери информации. Следует еще раз подчеркнуть, что в данном случае речь идет об информации, определенной в утилитарном смысле. При более общем определении процесс измерения количества информации приобретает более сложный вид.
Количество информации дискретных сообщений
Рассмотрим дискретные сообщения. Будем говорить, что:
Сообщение состоит из слов.
Слово состоит из символов (букв).
Символы принимают значение из некоторого алфавита.
Например, сообщение: «Добрый день» состоит из двух слов. Первое слово состоит из 6 символов (букв), а второе – из 4 символов (букв). Каждый символ (буква) берется из алфавита русского языка, содержащего 33 буквы. (Отметим, что в данном случае необходимо добавить еще и пробел, как 34 «букву» алфавита)
В общем виде слово состоит из (n) символов (букв), каждая из которых может принимать одно из (m) значений алфавита.
Общее
количество различных слов равно:
.
Логично предположить, что чем больше N, тем больше информации.
Если
один источник порождает
слов, второй
и т.д., а r-ый Nᵣ, то всего будет:
(1)
Впервые
логарифмическую меру количества
информации
) ввел Хартли:
(2)
Тогда
в отличие от выражения (2) для
источников
будет выполняться условие аддитивности:
(3)
Из (3) следует, что суммарное количество информации равно сумме количеств информации от каждого источника.
При
информация
оценивается в натах, при
в
битах, при
информация оценивается в дитах. В
инженерно-технических приложениях
теории информации чаще всего используется
единица бит и её производные: байт (8=
бит), килобит (
бит), килобайт (
байт), мегабит (
)
и т.д.
При сравнении различных методов или систем, удобно вводить оценки, связанные с удельным количеством информации.
Эта величина рассчитывается по формуле, когда определяемое количество информации делится на количество элементов в кодовом слове.
Удельное количество информации слова называют его энтропией:
(4)
Клодом Шенноном было замечено, что в определении Хартли не хватает очень важного показателя, а именно вероятности появления того или иного сообщения. Действительно, если мы будем просто характеризовать количество информации как логарифмическую меру от общего количества сообщений, то мы никоим образом не сможем разделить характеристики двух или более источников, которые вырабатывают одинаковые по численности сообщения, но с разной вероятностью.
Реальные
источники вырабатывают символы с разной
вероятностью, что не учитывается у
Хартли. Поэтому К.Шеннон предложил
энтропию слова
,
вырабатываемого с вероятностью
,
определить как
(5)
Эта частная энтропия является величиной случайной. Ее среднее значение – это энтропия источника:
(6)