8552

Рис. 4.5. Блок–схема алгоритма вычисления информационных характеристик источника дискретных сообщений без памяти

Содержание отчета

Отчет по лабораторной работе должен содержать:

1.Пример сообщения и расчет энтропии, избыточности для дискретного источника сообщений.

2.Графики нормированной пропускной способности канала связи от вероятности ошибки в канале связи.

3.Алгоритм, листинг программы и тестовый пример расчета информационных характеристик дискретного источника сообщений без памяти в математическом пакете MatLab.

4.Выводы по сравнению результатов, полученных на своей программе и в программе лабораторной работы.

Контрольные вопросы

1.Дайте определение понятию дискретного источника сообщений

2.Энтропия дискретного источника сообщений. Свойства энтропии.

3.Избыточность дискретного источника сообщений – дайте определение и характеристику данному понятию. Определение избыточности дискретного источника.

4.Производительность дискретного источника сообщений

5.Дискретный канал с шумом и без. Вероятность ошибки при передачи сообщения по дискретному каналу с шумом.

6.Пропускная способность дискретного канала.

Лабораторная работа №5. Энтропия источника дискретных

сообщений с памятью

Цель работы:научиться вычислять энтропию источника дискретных сообщений с памятью.

Теоретические сведения

При передаче символов в сообщении вероятность последующего символа связанна с предыдущим символом и определяется смыслом передаваемого сообщения. В связи с этими учет взаимосвязи в последующих символах приводит к уменьшению энтропии.

Неопределенность условного распределения символов не может превышать энтропии их безусловного распределения .

Обозначим как вероятность того, что источник послал символ поле отправки символа .

Если символ принимает произвольное значение из алфавита источника дискретных сообщений, то энтропию источника можно записать как:

Типичный пример дискретного источника с памятью – текст,

написанный на русском языке. Так, например вероятность появления буквы ‘О’ составляет 0.09, пробел встречается еще чаще, вероятность с которой он встречается в тексте составляет 0.125, в тоже время есть символы которые встречаются намного реже, так например символ ‘Ф’ встречается с вероятностью 0.002.

По экспериментальным данным . Максимальное значение энтропии для языка с алфавитом в 32 символа составляет:

.

Таким образом, в обычном тексте содержится в раза меньше информации, чем в хаотически набранном тексте. Избыточность текста составит:

.

Задание на лабораторную работу

Задание 1. Исследовать работу дискретного канала связи в программе лабораторной работы TIPSlab4.exe. Определить основные характеристики источника.

Для выполнения лабораторной работы в программе необходимо перейти в пункт меню «Файл» и установить режим вывода дополнительной информации.

Рис. 5.1. Иллюстрация включения режима вывода дополнительной информации

После данной операции, программа будет выводить в окне ансамбля дополнительную информацию – .

После этого выполнение лабораторной работы аналогично выполнению предыдущей работы. Введенное сообщение преобразуется в двоичный код,

после чего производится анализ ансамбля сообщений источника сообщений и кодера (приемника и декодера).

Задание 2. Написать программу в MatLab для расчета энтропии источника дискретных сообщений с памятью.

Рис. 5.3. Иллюстрация работы программы вычисления энтропии

источника дискретных сообщений с памятью

Задание 3. . Изучение информационных характеристик источника

дискретных сообщений с памятью более чем на два элемента.

Порядок выполнения работы

1.Запустить программу TIPSlab5.exe. Изучить информационные характеристики дискретного источника сообщений с памятью на несколько элементов (предельное число выбирается в настройках программы), сравнить с заранее рассчитанными, для русского текста значениями энтропии с памятью на 2, 3, 4 и 5 элементов. В качестве источника сообщений Вам предлагается взять уже готовый текстовый файл, который будет преобразован к одному регистру, и в котором будут оставлены только русские символы.

2.Экспериментально определить значение энтропии с памятью для русского текста. С этой целью компьютер загадает предложение, которое Вам изначально будет неизвестно. Вам необходимо посимвольно угадать все слова этого предложения. Если Вы не правильно угадали символ, то

компьютер показывает правильный символ и пишет его в заглавном регистре. После того как будет открыто все предложение, программа по количеству правильно угаданных Вами символов рассчитает избыточность сообщения и энтропию русского языка полученную по экспериментальным данным. Сравнить значение со значениями полученными в первом этапе лабораторной работы, и с известными Вам из теории.

3. Изучить влияние совместной вероятности появления символов в сообщении. Для этого Вам необходимо ввести сообщение, набор символов которого будет рассматриваться в качестве исходного набора символов для автоматической генерации сообщений. Программа позволяет ввести сообщение, показывает статистику входящих в него символов. После Вам предоставляется возможность сгенерировать сообщение из созданного набора символов на основе вероятности появления символов в русском языке, в том числе и с учетом влияния последовательности появления символов (взаимная вероятность на 2, 3, 4 и 5 символов).

Пример и результаты работы программы приведены на рис. 5.4.

Рис. 5.4. Изучение статистических свойств русского языка

Содержание отчета

Отчет по лабораторной работе должен содержать:

1.Пример сообщения и расчет энтропии, избыточности для дискретного источника сообщений с памятью.

2.Алгоритм и листинг программы расчета энтропии, избыточности для источника дискретных сообщений с памятью.

3.Результаты сравнения информационных характеристик источника дискретных сообщений с памятью и без памяти, полученных в собственной реализации и в программе лабораторной работы.

4.Таблицу значений энтропии источника дискретных сообщений с памятью на 2, 3, 4 и 5 символов. Сравнение полученной величины со справочными материалами приведенными в программе.

5.Результаты экспериментального определения энтропии русского языка, включая иллюстрацию способа получения.

6.Результаты автоматического построения предложения из заданного набора символов.

7.Выводы по работе.

Контрольные вопросы

1.Энтропия дискретного источника сообщений с памятью.

2.Информационные характеристики источников сообщений с памятью и без.

3.Избыточностьисточника дискретных сообщений с памятью.

Определение избыточности естественных языков (привести примеры для русского и английского языков).

4.О чем говорит более низкое значение энтропии при сравнении естественных языков как источников сообщений?

5.О чем говорит более низкое значение избыточности при сравнении естественных языков как источников сообщений?

.

Общее количество комбинаций источника дискретных сообщений длиной равно

Соотношение между типичными и нетипичными комбинациями можно выразить как

, (6.3)

. (6.4)

Например, если в качестве источника дискретных сообщений рассмотреть текст, написанный на русском языке, то средняя длинна слова будет равна шести символам. Будем рассматривать в качестве типичной комбинации рассматривать осмысленные слова, а в качестве нетипичной комбинации бессмысленный набор символов длинной в шесть символов.

В этом случае при и

,

.

Исходя из выше изложенного можно утверждать, что всего в русском языке можно построить возможных слов, но осмысленными из них будет только слов.

Задание для лабораторной работы

1.Запустите программу лабораторной работы TIPSlab6.exe и

загрузите в окно программы текстовый файл. Ознакомьтесь с информационными характеристиками, рассматривая в качестве источника сообщений последовательно: слова, буквы, биты.

2.Сравните информационные характеристики источников дискретных сообщений (для слов, букв, бит) с учетом реальных длин