3 Ключевые вопросы

3.1 Дать определение дискретного источника без памяти.

3.2 Дать определение дискретного источника с памятью.

3.3 Объяснить принцип укрупнения алфавита.

3.4 С какой целью применяют укрупнение алфавита?

3.5 Как определяются вероятности укрупненных знаков для источников без памяти и с памятью?

3.6 Как определяется объем укрупненного алфавита?

3.7 Как влияет на эффективность кодирования количество знаков при укрупнении m? Чем обуславливается выбор m?

3.8 Каким образом эффективное кодирование укрупненного алфавита позволяет уменьшить избыточность сообщений при кодировании дискретных источников с памятью?

4 Домашнее задание

4.1. Изучить раздел “Эффективное кодирование дискретных источников” по конспекту лекций и ключевым положениям. Также можно воспользоваться литературой [1, с. 876-885].

4.2 Задан двоичный источник без памяти с алфавитом {a₁; a₂} с вероятностью P(a₁) = (0,8 – 0,02N), где N – номер лабораторного стенда. Рассчитать энтропию источника.

Провести укрупнение алфавита по 2 знака. Составить кодовые комбинации для укрупненного алфавита методом Шеннона-Фано (для нечетных N) или методом Хаффмана (для четных N). Рассчитать , , η и μ.

Примечание. Для расчета η и μ можно воспользоваться формулами (3.6) и (3.7) соответственно в [2] (стр. 15).

4.3. Подготовиться к обсуждению по ключевым вопросам.

5 Лабораторное задание

5.1 Запустить программу “Эффективное кодирование с укрупнением алфавита”, используя иконку “Лабораторные работы” на рабочем столе, а затем папку ОТПИ (ТИ). Изучить схему макета.

5.2 Исследовать эффективность укрупнения алфавита при кодировании двоичного источника без памяти с равными вероятностями знаков. Выбрать в меню двоичного источника сообщений – “без памяти (равновероятные)”.

а) Укрупнить алфавит по 2 знака. Зафиксировать в протоколе знаки укрупненного алфавита, соответствующие им вероятности и кодовые комбинации. Записать характеристики первичного сообщения.

б) Записать энтропию укрупненного сообщения H(A), и . Сравнить энтропию первичного сообщения и после укрупнения. Рассчитать эффективность кодирования и коэффициент сжатия.

Коэффициент сжатия можно рассчитать как

, (5)

где N_вх – количество двоичных символов (знаков), использованных для передачи сообщения до кодирования;

N_вых – количество двоичных символов (знаков), использованных для передачи сообщения после кодирования.

Повторить п. 5.2б при укрупнении алфавита по 3 и по 4 знака.

5.3 Исследовать эффективность укрупнения алфавита при кодировании двоичного источника без памяти с разными вероятностями знаков. Выбрать в меню двоичного источника сообщений – “без памяти (разновероятные)”.

Повторить исследования, проведенные в п. 5.2, для двоичного источника без памяти с разными вероятностями знаков.

5.4 Исследовать эффективность укрупнения алфавита при кодировании марковского двоичного источника с памятью 1-го порядка. Выбрать в меню двоичного источника сообщений – “С памятью 1-го порядка”.

Повторить исследования, проведенные в пп. 5.2 и 5.3, для марковского двоичного источника с памятью 1-го порядка.