- •Предисловие.
- •1. Введение.
- •2. Количество информации.
- •2.1. Формула хартли.
- •2.2. Формула шеннона.
- •2.3. Свойства энтропии.
- •2.4. Энтропия в информатике и физике.
- •2.5. Вероятностный и объемный подходы к измерению количества информации.
- •2.6. Различные аспекты анализа информации.
- •3. Принципы кодирования и декодирования информации.
- •3.1. Буква (знак, символ). Алфавит.
- •3.2. Кодировщик и декодировщик.
- •3.3. Международные системы байтового кодирования.
- •3.4. Помехоустойчивое кодирование информации.
- •4. Передача информации.
- •4.1. Из истории развития передачи информации.
- •4.2 . Общая схема передачи информации.
- •4.3. Теорема котельникова.
- •4.4.Информационная емкость дискретного сигнала (сообщения). Формула шеннона.
- •4.5. Предельная скорость передачи информации по шеннону. Формула хартли - шеннона.
- •4.6. Теорема шеннона для дискретного канала с помехами.
- •5. Дискретные двоичные (бинарные) сигналы.
- •5.1. Регенерация двоичных сигналов.
- •5.2. Помехозащищенность двоичных сигналов.
- •5.3. Кодирование двоичных сигналов.
- •6. Аналоговые и дискретные процессы.
- •6.1. Аналоговые и дискретные сигналы.
- •6.2. Измерение отношения сигнал – шум.
- •6.3. Дискретизация и кодирование аналогового сигнала.
- •7. Цифровая телефонная связь.
- •8. Цифровая телеграфная связь.
- •9. Цифровое телевидение.
- •10. Системы передачи информации
- •10.1. Параметры радиосигналов.
- •10.2. Многоканальные линии связи. Уплотнение информации.
- •11. Оптоволоконная связь.
- •11.1. Из истории кабельной связи.
- •11.2. Принцип оптоволоконной связи.
- •12. Локальные сети.
- •12.1. Аппаратные средства.
- •12.2. Конфигурация локальных сетей.
- •12.3. Организация обмена информацией.
- •13. Спутниковая связь.
- •13.1. Общая характеристика спутниковой связи.
- •13.2. Принципы спутниковой связи.
- •14. Системы счисления.
- •14.1. Непозиционные системы счисления.
- •14.2. Позиционные системы счисления.
- •14.3. Перевод чисел из десятичной системы в другую систему.
- •14.4. Перевод чисел в десятичную систему из других систем.
- •14.5. Взаимные преобразования двоичных, восьмеричных и шестнадцатеричных чисел.
- •14.6. Двоично-десятичная система.
- •15. Языки программирования.
- •15.1. Языки программирования. Общая характеристика.
- •15.2. Язык программирования си. История создания. Общая характеристика.
- •15.3. Язык программирования си. Процесс создания исполняемого файла.
- •15.4. Язык программирования си. Распределение памяти программы.
- •15.5. Язык программирования си. Основные понятия.
- •15.6. Язык программирования си. Данные.
- •15.7. Язык программирования си. Структура простой программы.
- •Приложение 1. Система семибитного кодирования.
- •Приложение 2. Модифицированная альтернативная кодировка.
- •Приложение 3: клод элвуд шеннон.
- •Литература.
- •Оглавление.
4.3. Теорема котельникова.
Теорема Котельникова называется также теоремой отсчетов или теоремой о выборках. Выборкой называется отсчет амплитуды сигнала в определенный момент времени. Термин "выборка" взят от английского слова samples.
Теорема Котельникова определяет минимальную частоту взятия отсчетов при равномерной дискретизации сигнала с ограниченным спектром, т.е. величину, обратную максимальному временному шагу дискретизации (интервалу Найквиста): . Минимальная частота отсчетов значений в секунду должна быть вдвое больше самой высокой частоты спектра, т.е.
Сигнал, не содержащий в своем спектре частот выше Fm, полностью определяется 2Fm независимыми значениями в секунду.
Эта теорема позволяет на интервале длительности передачи сообщения ts заменить непрерывный сигнал с ограниченным спектром равномерной последовательностью его дискретных значений, причем их нужно не бесконечное число, а вполне определенное, равное 2Fm.ts
Другая формулировка теоремы Котельникова:
Любая непрерывная функция , спектр которой ограничен максимальной частотой , полностью определяется последовательностью своих значений в моменты времени, отстоящие друг от друга на интервал Найквиста:
4.4.Информационная емкость дискретного сигнала (сообщения). Формула шеннона.
Уровень шумов (помех) не позволяет точно определить амплитуду сигнала и в этом смысле вносит некоторую неопределенность в значение отсчетов сигнала. Если бы шума не существовало, то число дискретных уровней сигнала было бы бесконечным. Величина шума определяет степени различимости отдельных уровней амплитуды сигнала. Максимально возможное число уровней (состояний) N сигнала в одной выборке из-за наличия шума равно
N=, где
- средняя мощность сигнала;
- средняя мощность шума;
Если число уровней (состояний) системы в одной выборке (на один отсчет) равно N, то это равносильно информации, даваемой i битами (Формула Хартли).
N=2i; log2N=ilog22; log2N=i; i=log2N; i=log2
Из теоремы Котельникова следует, что на интервале длительности передачи сообщения ts непрерывный сигнал с ограниченным спектром можно заменить последовательностью из 2Fm.ts его дискретных значений. Поэтому информационная емкость дискретного сигнала (сообщения) за время передачи составит
(бит)
- длительность передачи сообщения;
- максимальная частота из передаваемого спектра частот;
- частота выборок по Котельникову;
- количество выборок по Котельникову за время передачи сообщения;
- максимально возможное число уровней N сигнала в одной выборке из-за наличия шума;
- средняя мощность сигнала равна квадрату амплитуды сигнала;
- средняя мощность шума равна квадрату амплитуды шума.
Информационные возможности сигнала возрастают с расширением спектра его частот и превышением уровня сигнала над уровнем помех.
4.5. Предельная скорость передачи информации по шеннону. Формула хартли - шеннона.
Предельная скорость передачи информации относится к фундаментальным понятиям теории связи. Она служит одной из главных характеристик канала передачи информации.
(бит/с)
Основными факторами, ограничивающими скорость передачи информации, являются полоса частот Fm и уровень помех Pn. Полоса частот Fm и мощность сигнала Ps входят в формулу таким образом, что для C=Const при сужении полосы Fm необходимо увеличивать мощность сигнала Ps и наоборот.
Оценка скорости передачи информации и предельных возможностей канала связи представляет большой практический и теоретический интерес. Выявление принципиальных ограничений в передаче информации является интересной физической и математической задачей.