Методическое пособие 640
.pdfПоказатели частотной, энергетической и информацион-
ной эффективности являются определяющими показателями работоспособности различных систем связи.
8.6.2. Способы повышения эффективности информационных систем
Как видно из формул (8.7) - (8.9), при наложении ограничений на физические параметры сигнала (мощность, частоту, длительность) эффективность систем связи может быть повышена за счет увеличения скорости передачи информации, т.е. для повышения эффективности системы передачи информации необходимо повышать энтропию сообщений. Энтропия сообщений зависит от закона распределения вероятностей. Следовательно, для повышения эффективности необходимо осуществить перераспределение плотностей элементов сообщения.
Известно также, что при наличии корреляционных связей между элементами сообщений энтропия последних уменьшается. Поэтому повышение эффективности систем можно получить за счет устранения или ослабления взаимосвязей между элементами сообщений, т.е. за счет декорреляции сообщений.
Также повышение эффективности систем можно получить за счет соответствующего выбора способа кодирования, обеспечивающего экономию во времени при передачи сообщений. Наибольшую эффективность системы дает код, при котором среднее количество кодовых символов, приходящееся на один элемент сообщения, будет минимальным. Такой код называют эффективным.
Взаимные связи, существующие между отдельными сообщениями, позволяют по данным наблюдений за предыдущими сообщениями предсказывать последующие сообщения. Тогда, вычитая из предсказанного сообщения истинное, можно в линию посылать полученную разность (сигнал ошибки). Разностный сигнал несет по существу те новые сведения, которые не могли быть получены ранее по известным корреляционным связям между сообщениями.
271
Поскольку среднее значение сигнала ошибки меньше среднего значение сигнала, то такой способ позволяет уменьшить объем сигнала, а следовательно, увеличить эффективность системы.
Выбор того или иного способа повышения эффективности систем из известных должен производиться с учетом сложности его технической реализации, а также с учетом обеспечения необходимой помехоустойчивости систем.
272
ЗАКЛЮЧЕНИЕ
Данное учебное пособие содержит далеко не полный объем знаний, относящихся к курсу теории информации. А лишь дает базу для дальнейшего более глубокого освоения знаний в области теории сигналов, систем преобразования и хранения информации, систем кодирования/декодирования информации.
Приведенные в учебном пособии сведения необходимы при анализе информационных сигналов и их разновидностей, с учетом возможности корректного преобразования их в удобный для проведения моделирования вид. При этом всегда нужно помнить, что ваша система является лишь составной частью более общей информационной системы, которая накладывает ряд своих требований и ограничений на вашу разрабатываемую или анализируемую модель системы связи. Современная теория связи, базирующаяся на статистических методах, включает множество ветвей и направлений, среди которых важное место занимают теория оптимального приема, теория информации и теория кодирования.
Содержание теории оптимального приема сообщений составляют статистический синтез приемных устройств, анализ эффективности различных видов модуляции, расчет показателей помехоустойчивости линии связи и др. Теория информации занимается статистическим описанием источников сообщений и каналов связи, методами экономного представления информации, а также выяснением предельных возможностей каналов с учетом энергетических и спектральных ограничений. Важным разделом теории информации, выделившимся в самостоятельную дисциплину, является теория кодирования, основной задачей которой является разработка методов отображения сообщений в некоторые абстрактные эквиваленты с целью повышения достоверности передачи данных по зашумленным каналам.
273
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1.Фурсов, В.А. Лекции по теории информации: учеб. пособие под редакцией Н.А. Кузнецова - Самара: Изд-во Самар. гос. аэрокосм. ун-та, 2006. - 148 с.: ил.
2.Шавенько, Н.К. Основы теории кодирования и передачи информации: учебное пособие / Н.К. Шавенько, В.И. Мощиль – М.: Изд. МИИГАиК, 1999. – 48 с.
3.Тихонов, В.И. Марковские процессы / В.И. Тихонов, М.А. Миронов. – М.: Сов. радио, 1977. – 488 с.
4.Лидовский, В.В. Теория информации: учебное пособие. – М.: Компания Спутник+, 2004. – 111 с.
5.Шульгин, В.И. Основы теории передачи информации. Ч. I. Экономное кодирование: учеб. пособие. – Харьков: Нац. аэрокосм. ун-т « Харьк. авиац. ин-т » , 2003. - 102 с.
6.Шульгин, В.И. Основы теории передачи информации. Ч. 2. Помехоустойчивое кодирование: учеб. пособие. – Харьков: Нац. аэрокосм. ун-т « Харьк. авиац. ин-т » , 2003. – 87 с.
7.Кузьмин, И.В. Основы теории информации и кодирования / И.В. Кузьмин, В.А. Кедрус. – 2-е изд., перераб. и доп. – К.: Вища шк. Головное изд-во, 1986. – 238 с.
8.Хэмминг, Р.В. Теория кодирования и теория информации: пер. с англ. – М.: Радио и связь, 1983. – 176 с., ил.
9.Кудряшов, Б.Д. Теория информации: учебник для вузов.- СПб: Питер, 2009. – 320 с.: ил. – (Серия «Учебник для вузов»).
10.Пупков, К.А. Теория и компьютерные методы исследования стохастических систем [Текст] / К. А. Пупков, Н. Д. Егупов, А. М. Макаренков, А. И. Трофимов. – М.: ФИЗМАТ-
ЛИТ, 2003. – 400 с.
11.Каганов, В.И. Основы радиоэлектроники и связи: учебное пособие для вузов / В.И. Каганов, В.К. Бирюков – М.: Горячая линия – Телеком, 2007. – 542 с.: ил.
12.Ватолин, Д. Методы сжатия данных. Устройство архиваторов, сжатие изображений и видео / Д. Ватолин, А. Ратушняк, М. Смирнов, В. Юкин – М.: ДИАЛОГ-МИФИ, 2003. –
274
384с.
13.[Электронный ресурс]. – Режим доступа: http://profbeckman.narod.ru/InformLekc.htm
14.[Электронный ресурс]. – Режим доступа: http://www.allbest.ru/
275
ОГЛАВЛЕНИЕ
ВВЕДЕНИЕ........................................................................................... |
|
|
|
3 |
1. Модели детерминированных сигналов............................................ |
|
6 |
||
1.1. Преобразование непрерывных сигналов в дискретные......... |
11 |
|||
1.2. Модель радиотехнической системы передачи информации.. |
15 |
|||
1.3. Информационные сети и информационные потоки .............. |
19 |
|||
2. Энтропия как мера неопределенности информации...................... |
23 |
|||
2.1. Вероятностное описание дискретных ансамблей................... |
23 |
|||
2.2. Энтропия, как мера неопределенности выбора ...................... |
24 |
|||
2.3. Свойства энтропии................................................................... |
|
|
26 |
|
2.4. Энтропия сложных сообщений............................................... |
|
27 |
||
2.5. Основные свойства энтропии сложных сообщений.............. |
29 |
|||
2.6. Энтропия при непрерывном распределении состояний |
|
|||
элементов........................................................................................ |
|
|
|
31 |
2.6.1.Свойства дифференциальной энтропии............................... |
|
35 |
||
2.6.2. Энтропия |
непрерывных |
сообщений |
с нормальным |
|
распределением состояний элементов.................................................... |
|
37 |
||
2.6.3.Энтропия |
непрерывных |
сообщений |
с равномерным |
|
(равновероятным) распределением состояний элементов..... |
31 |
|||
2.6.4.Сравнительная оценка сообщений с нормальным и |
|
|||
равновероятным распределениями состояний элементов............. |
40 |
|||
2.7. Избыточность сообщений........................................................ |
|
|
41 |
|
3. Количество информации как мера снятой неопределенности ...... |
44 |
|||
3.1. Количество информации при передаче отдельного элемента |
|
|||
дискретного сообщения.................................................................. |
|
|
44 |
|
3.2. Свойства количества информации.......................................... |
|
46 |
||
3.3. Передача дискретных сообщений по каналам с помехами.... |
48 |
|||
3.4. Количество информации, содержащееся в одиночном |
|
|||
сообщении ...................................................................................... |
|
|
|
54 |
3.4.1.Частное количество информации, содержащееся в yj |
|
|||
относительно X............................................................................... |
|
|
|
54 |
3.5. Частное количество информации, содержащееся в yj |
|
|||
относительно xk............................................................................... |
|
|
|
56 |
3.5.1. Частное количество информации, содержащееся в yj |
|
|||
относительно xk………………………………………………56
3.6. Разность частных количеств информации.............................. |
58 |
3.7. Количество информации при передаче сообщений от |
|
непрерывного источника................................................................ |
62 |
276 |
|
3.8. Эпсилон-энтропия случайной величины ................................ |
63 |
3.9. Связь между энтропией и количеством информации............. |
64 |
4. Оценка информационных характеристик источников сообщений66 |
|
4.1. Понятие эргодического источника сообщений....................... |
66 |
4.2. Марковские процессы.............................................................. |
70 |
4.3. Марковский процесс с дискретным временем........................ |
74 |
4.3.1Энтропия стационарного источника ..................................... |
81 |
4.4. Марковские случайные процессы с непрерывным временем 85 |
|
4.5. Производительность источника дискретных сообщений....... |
88 |
5. Информационные характеристики каналов связи......................... |
90 |
5.1. Модели дискретных каналов................................................... |
90 |
5.2. Скорость передачи информации по дискретному каналу...... |
98 |
5.3. Пропускная способность дискретного канала без помех....... |
99 |
5.4. Пропускная способность дискретного канала спомехами .. |
101 |
5.5. Скорость передачи по непрерывному гауссову каналу связи |
|
....................................................................................................... |
105 |
5.6. Влияние распределения шумов по спектру на скорость |
|
передачи информации.................................................................. |
116 |
5.7. Согласование физических характеристик сигнала и канала 123 |
|
6. Кодирование информации............................................................ |
128 |
6.1. Эффективное кодирование.................................................... |
130 |
6.2. Цель сжатия данных и типы систем сжатия ......................... |
137 |
6.3. Методы эффективного кодирования некоррелированной |
|
последовательности знаков. Код Шеннона-Фано ....................... |
139 |
6.4. Методика кодирования Хаффмана........................................ |
141 |
6.5. Недостатки методов эффективного кодирования................. |
144 |
7. Помехоустойчивое (корректирующее) кодирование................... |
145 |
7.1. Теорема Шеннона о кодировании для канала с помехами... |
147 |
7.2. Классификация помехоустойчивых кодов............................ |
148 |
7.3. Общие принципы построения помехоустойчивых кодов..... |
154 |
7.4. Линейные коды...................................................................... |
155 |
7.4.1.Код с повторением.............................................................. |
155 |
7.4.2.Код с простой проверкой на четность................................ |
155 |
7.4.3.Свойства линейного кода.................................................... |
155 |
7.4.4.Коды над другими полями.................................................. |
155 |
7.4.5. Декодирование сообщения................................................. |
155 |
7.4.6. Основные характеристики кода.......................................... |
155 |
7.5. Основные характеристики кода............................................. |
167 |
7.6. Математическое введение к линейным кодам...................... |
172 |
277
7.7. Стандартное расположение................................................... |
174 |
7.8. Синдром................................................................................. |
177 |
7.9. Вероятность ошибки.............................................................. |
180 |
7.10. Общая схема построения группового кода......................... |
182 |
7.11. Параметры (характеристики) помехоустойчивых кодов и их |
|
границы. Корректирующие свойства кодов. ............................... |
184 |
7.12. Коды Хэмминга.................................................................... |
189 |
7.13. Коды расширения и укорочения.......................................... |
192 |
7.14. М-арная передача сигналов ................................................. |
197 |
7.14.1. М-арная передача сигналов............................................... |
197 |
7.14.2. М-арная передача сигналов............................................... |
197 |
7.14.3. М-арная передача сигналов............................................... |
197 |
7.14.4. М-арная передача сигналов............................................... |
197 |
7.15. Циклические коды ............................................................... |
208 |
7.15.1.Полиномиальное представление линейных кодов. |
|
Арифметика полиномов............................................................... |
208 |
7.15.2.Порождающие полиномы циклических кодов................. |
208 |
7.15.3.Принципы формирования и обработки разрешённых |
|
кодовых комбинаций циклических кодов ................................... |
208 |
7.15.4.Построение простых многочленов ................................... |
208 |
7.15.5.Матричное представление циклических кодов................ |
208 |
7.15.6.Построение проверочной матрицы циклического кода.. |
208 |
7.15.7.Линейные переключательные схемы................................ |
208 |
7.15.8.Умножение полиномов на базе линейных |
|
переключательных схем............................................................... |
208 |
7.16. БЧХ-коды............................................................................. |
231 |
7.17. Мажоритарное декодирование............................................ |
235 |
7.18. Коды Рида–Соломона.......................................................... |
236 |
7.19. Сверточные коды................................................................. |
239 |
7.20. Сплайн-интерполяция.......................................................... |
241 |
8. Применение корректирующего кодирования в системах связи.. |
247 |
8.1. Каскадные коды..................................................................... |
247 |
8.2. Коды, исправляющие пакеты ошибок................................... |
250 |
8.3. Кодирование с перемежением............................................... |
252 |
8.4. Обнаружение и исправление ошибок в технике связи......... |
255 |
8.5. Кодирование непрерывных источников ............................... |
257 |
8.6. Оценка эффективности систем связи.................................... |
263 |
ЗАКЛЮЧЕНИЕ ................................................................................ |
273 |
БИБЛИОГРАФИЧЕСКИЙ СПИСОК .............................................. |
274 |
278 |
|
Учебное издание
Поздышева Оксана Валентиновна
ТЕОРИЯ ИНФОРМАЦИИ И КОДИРОВАНИЯ
В авторской редакции
Подписано к изданию 28.09.2017
Объем данных 2,91 Мб
ФГБОУ ВО «Воронежский государственный технический университет»
394026 Воронеж, Московский просп., 14