Задание 3.

Решить задачу:

Определить избыточность сообщений, образованных с помощью алфавита, состоящего всего из двух знаков z₁ и z₂ с вероятностями появления соответственно p(z₁)= 0.9 и p( z₂)=0.1.

Решение:

Определение количества информации на символ сообщения, составленного из данного алфавита.

Количество информации на символ сообщения для символов данного алфавита, встречающихся с равными вероятностями:

H_max = log₂ 2 = ln 2/ln 2 = 1,0 бит/символ

Количество информации на символ сообщения для символов данного алфавита, встречающихся в сообщении с разными вероятностями:

H = – (0,9*log₂0,9 + 0,1*log₂0,1) = 0,3979 бит/символ.

Недогруженность символов в данном случае:

N = Н_max – Н = 1,0 – 0,3979 = 0,6021 бит/символ

Избыточность сообщений, составленных из данного алфавита.

D = 1 – (Н/Н_max) = 1 – (0,3979 / 1,0) = 0,61021

Список использованной литературы:

1. А.В.Власенко, В.И.Ключко «Теория информации». Краснодар Издательство КубГТУ 2003.

2. Игнатов В. А. «Теория информации и передачи сигналов», 1979.

3. Лидовский В. В. Учебное пособие по курсу «Теория информации», 2004.

4. Кавчук С. В. Сборник примеров и задач по теории информации, 2002.

5. Ломакин Д. В., Туркин А. И. Прикладная теория информации и кодирования, 1988.

18