- •Введение
- •1. Энтропия источников сообщений
- •1.1. Дискретные ансамбли и источники
- •1.2. Количество информации в дискретном сообщении. Энтропия ансамбля
- •1.3. Условная информация. Условная энтропия. Совместная энтропия дискретного источника
- •1.4. Энтропия дискретного стационарного источника на сообщение
- •1.5. Избыточность источника дискретных сообщений
- •1.6. Эффективное кодирование. Кодирование источника равномерными кодами
- •1.7. Высоковероятные множества постоянного дискретного источника
- •1.8. Энтропия источника без памяти как скорость создания информации
- •1.9. Избыточность источника непрерывных сигналов. Количество информации в непрерывном канале
- •1.10. Скорость передачи информации и пропускная способность в непрерывном канале
- •2. Кодирование информации
- •2.1. Неравномерное кодирование с однозначным декодированием
- •2.2. Оптимальные неравномерные двоичные коды
- •2.3. Кодирование для исправления ошибок: Основные положения
- •2.4. Постановка задачи кодирования
- •2.5. Прямая теорема о кодировании в канале с шумами
- •2.6. Обратная теорема кодирования
- •2.7. Основная теорема Шеннона, ограничение возможностей использования оптимального кодирования на практике
- •3. Коды, исправляющие ошибки
- •3.1. Блоковые и сверточные коды
- •3.2. Хеммингово расстояние, Хемминговы сферы и корректирующая способность
- •3.3. Линейные блоковые коды
- •3.4. Порождающая и проверочная матрицы. Кодирование с помощью матриц g и н
- •3.5. Декодирование по стандартной таблице
- •3.6. Циклические коды
- •3.7. Кодирующие устройства циклических кодов
- •3.8. Декодирование циклических кодов по синдрому
- •3.9. Мажоритарное декодирование
- •4. Энтропия в контексте защиты информации от помех при передаче по каналу связи
- •4.1. Меры искажения. Постановка задачи защиты информации от помех при передаче по каналу связи
- •4.2. Свойства функции скорость-искажение
- •4.3. Простые примеры вычисления функции скорость-искажение
- •4.4. Функция скорость-искажение для гауссовских последовательностей
- •4.5. Эпсилон-производительность источника
- •4.6. Дифференциальная энтропия
- •4.7. Свойства дифференциальной энтропии
- •4.8. Эпсилон - энтропия источника сообщений
- •4.9. Обратная теорема кодирования для дискретного постоянного источника при заданном критерии качества
- •4.10. Прямая теорема кодирования с заданным критерием качества
- •4.11. Аксиоматическое введение в теорию энтропии вероятностных схем
- •4.12. Энтропия и условная энтропия объединенной вероятностной схемы и их свойства
- •Заключение
- •Библиографический список
- •Оглавление
- •394026 Воронеж, Московский просп., 14
Библиографический список
1.Теория информации./ Духин А.А. М.: Гелиос АРВ, 2007. 248 с.
Теория информации: учеб. пособие./ Котоусов А.С. М.: Радио и связь, 2003. 80 с.
Теория информации./ Кудряшов Б. Д. М.:2009, 184 с.
Теория информации: учеб. пособие. / Лидовский В.В. М.: Компания Спутник+, 2004, 111 с.
Искусство помехоустойчивого кодирования. Методы, алгоритмы, применение./ Морелос-Сарагоса Р. М.: Техносфера, 2005, 320 с.
6.Теория передачи информации: Конспект лекций./ Сорока Н. И., Кривинченко Г. А. Минск. 301 с.
Оглавление
Введение…………………………………………………………3
1. Энтропия источников сообщений…………………………...9
2. Кодирование информации………………………………….38
3. Коды, исправляющие ошибки……………………………...62
4. Энтропия в контексте защиты информации от помех
при передаче по каналу связи…………………………………90
Заключение……………………………………………………142
Библиографический список………………………………….154
Учебное издание
Иванкин Евгений Филиппович
Иванкин Михаил Петрович
ОСНОВЫ ТЕОРИИ ИНФОРМАЦИИ И ИХ ПРИМЕНЕНИЕ В РИСК-АНАЛИЗЕ ИНФОРМАЦИОННЫХ СИСТЕМ
В авторской редакции
Подписано к изданию 07.11.2012.
Объем данных 2,0 Мб.
ФГБОУ ВПО «Воронежский государственный технический
университет»
394026 Воронеж, Московский просп., 14