Методическое пособие 362
.pdf
0,03
= 2 [log2 10 + 0,03 log2 10 − 1 + (1 − 0,03) log2(1 − 0,03)] =
бит
= 6,064 сек.
Задача 4.2.9. Передаются текстовые сообщения, первичный алфавит которых содержит m качественных признаков, общее количество передаваемых сигналов – n1. Сообщения кодируются некоторым вторичным алфавитом m2; в принятых сообщениях содержится п2 символов. Определить избыточность от округления данных текстовых сообщений.
Решение. Количество информации в первичном сообщении длиной в п1 символов
I1= n1log2m1
и во вторичном сообщении длиной в п2 символов
I2 = n2log2 m2,
где т1 и т2— соответственно количество символов первичного и вторичного алфавитов.
Поскольку количество информации при любом виде кодирования не может возрастать, то I1=I2, или
n1 log2m1 = n2 log2 m2,
откуда определяем коэффициент сжатия µ
|
= |
log2 |
1 |
; = |
2 |
= |
log2 |
1 |
. |
||||
|
|
|
|
|
|
|
|||||||
2 |
1 log |
2 |
2 |
|
|
log |
2 |
|
2 |
|
|||
|
|
|
|
|
1 |
|
|
|
|
||||
Так какµне целое число, то избыточность от округления
−=
где k— округленное значение µ.
49
4.3. Типовые задачи
Задача 4.3.1. Алфавит состоит из четырех букв x1, x2, x3 и x4. Вероятности появления символов P(xi) заданы вектор-столб- цом
1 |
1 |
1 |
1 |
|||||
( ) = [ |
|
|
|
|
|
|
|
] . |
2 |
4 |
|
|
|||||
8 |
8 |
|||||||
Между соседними символами имеются корреляционные связи, которые описываются матрицей условных вероятностей P(xi/xj) следующего вида
|
0 |
0.2 |
0.4 |
0.4 |
|
( ⁄ ) = [ |
0.2 |
0.2 |
0.3 |
0.3 |
]. |
|
0.25 |
0 |
0.25 |
0.5 |
|
|
0.2 |
0.4 |
0.4 |
0 |
|
Требуется определить избыточность источника при статистической независимости символов и при учете зависимости между ними.
Ответ. Избыточность источника при статистической независимости символов R1 = 0.125 и при статистической зависимости символов R2 = 0.184.
Задача 4.3.2. Для передачи сообщений используется код, состоящий из трех символов, вероятности появления которых равны 0.8, 0.1 и 0.1.
Корреляция между символами отсутствует. Определить избыточность кода.
Ответ. Избыточность кода R=0.42.
50
Задача 4.3.3. Измерительное устройство вырабатывает при среднеквадратическом отклонении σu = 6 В и параметре α = 1 сек-1 случайный сигнал U(t) с нормальной плотностью вероятности и корреляционной функцией
( ) = 2 − | |.
Определить избыточность сигнала, вызванную наличием корреляции.
Ответ. При шаге квантования Δu = 1В избыточность сиг-
нала |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
( ) = 1 − |
д ( ) |
или ( ) = |
− log2 √1 − −2 | | |
. |
||||||
д |
|
|
|
|
|
|
|
|||
|
|
|
|
|
||||||
|
|
2 log2 |
|
|
√2 |
|
||||
|
|
|
∆ |
|
||||||
|
|
|
|
|
|
|
|
|
|
|
Задача 4.3.4. На вход канала связи поступает ансамбль сигналов {xi}, i = 1.. 3 с длительностью τ = 0.01 сек и частотой следования F= 1/τ. Сигнал x1 значительно отличается от других
ивсегда принимается правильно. Априорные вероятности P(xi)
ивероятности переходов P(yj/xi), j= 1.. 3 имеют и параметрах p= 0.6; q= 0.2 и p0= 10 -2 значения, указанные в соответствующих матрицах
|
|
1 |
0 |
0 |
( ) = ( |
|
) ; ( ⁄ ) = [0 |
(1 − 0) |
0 ]. |
|
|
0 |
0 |
(1 − 0) |
Требуется найти пропускную способность канала связи и установить, можно ли использовать данный канал для передачи информации от заданного источника.
Ответ. При введении коэффициента
= 0 log2 0 + (1 − 0) log2(1 − 0)
пропускная способность канала
51
2− + 2= log2 ( 2− ) ;
C = 154.787 бит/сек.
Производительность источника
Ĩ = 137.095 бит⁄сек.
Задача 4.3.5. На вход канала связи поступает ансамбль сигналов {xi},i = 1.. 3 с длительностью τ = 0.01 сек и частотой следования F = 1 /τ. Априорные вероятности P(xi) и условные вероятности P(yj/xi), j = 1.. 3 имеют и вероятности ошибки p0= 10-2 значения, указанные в соответствующих матрицах
|
( |
|
) |
= |
( |
0.6 |
0.2 0.2 |
) |
; |
|
|
|
|
|
|
||||||
|
|
(1 − 0) |
0 |
|
0 |
|
||||
( ⁄ ) = [ |
|
0 |
|
|
(1 − 0) |
|
0 |
]. |
||
|
|
|
|
0 |
|
0 |
(1 − 0) |
|||
Вычислить пропускную способность канала связи и установить, достаточно ли предоставленного канала для передачи информации от источника.
Ответ. Пропускная способность канала
= [log2 3 + [ 0 log2 0 + (1 − 0) log2(1 − 0)]];
C = 150.417 бит/сек.
Производительность источника
Ĩ= 137.095 бит/сек.
Задача 4.3.6. Определить пропускную способность канала связи, по которому передаются сигналы {xi}, i = 1.. 4 с длительностью τ = 0.01сек и частотой следования F = 1/ τ. Влияние помех характеризуется j = 1.. 4 и вероятности ошибки
52
p0= 10 -2 матрицей условных вероятностей |
|
|
||||
|
(1 − 0) |
0 |
0 |
0 |
|
|
( ⁄ ) = [ |
0 |
(1 − 0) |
0 |
0 |
]. |
|
0 |
0 |
(1 − 0) |
0 |
|||
|
|
|||||
|
0 |
0 |
0 |
(1 − 0) |
|
|
Ответ. Пропускная способность канала
= [2 + [ 0 log2 0 + (1 − 0) log2(1 − 0)]];
C = 280.46 бит/сек.
Задача 4.3.7.Определить полосу пропускания канала передачи телевизионного черно-белого изображения с числом элементов N = 5·105 , числом кадров K = 25 за время τ = 1sec и числом градаций яркости G = 8 для отношения сигнал-помеха ρ = 15 при условии, что изображение может принимать наиболее хаотичный вид, а именно вид белого шума.
Ответ. Полоса пропускания канала
= |
log2 |
1 |
; |
|
|
|
log2(1 + ) |
||
F = 9.375 MГц.
Примечание. Изображение принимает вид белого шума, если все его элементы как в одном кадре, так и в различных кадрах независимы.
Задача 4.3.8. Определить пропускную способность симметричного канала с матрицей условных вероятностей
|
1 |
1 |
1 |
1 |
|||||
|
|
|
|
|
|
|
|
|
|
( ⁄ ) = |
3 |
3 |
6 |
6 . |
|||||
|
|
1 |
|
1 |
1 |
1 |
|||
|
|
|
|
|
|
|
|
|
|
|
[6 |
6 |
3 |
3 |
] |
||||
Ответ. Пропускная способность C = 0.09 бит/символ.
53
Задача 4.3.9. Двоичный источник с равновероятными элементами имеет производительность
vI(x) = 1000 бит/сек.
При передаче по каналу в среднем один из переданных 100 символов искажается. Определить скоростьпередачи информации по данному каналу.
Ответ. При вероятности ошибки p0= 10 -2 скорость передачи информации по каналу
Ĩ = ( ) = |
( ) |
[ln 2 + 0 log2 0 + (1 − 0) log2(1 − 0)]; |
|
ln 2 |
|||
|
vI(k) = 919.207 бит/сек. |
||
|
|
Задача4.3.10. По радиоканалу с минимальным временем передачи сигнала Tk= 1сек и полосой частот f k = 100 кГц, в котором действует белый гауссов шум со спектральной плотностью мощности S0= 1.6 ·10 -3 Вт/кГц , передается сигнал u(t), имеющий граничную частоту fc = 10 кГц и среднюю мощность Pu = 14 Вт. Сколько времени займет передача сигнала по данному каналу.
Ответ. Время передачи сигнала
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
∆ |
|
log2 (1 + |
|
|
|
|
) |
|
|
|||
|
0 |
|
|
|
|
|
|||||||
= |
|
|
|
|
|
∆ |
; |
= 6.617 сек. |
|||||
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
log |
|
(1 + |
|
|
) |
|
|
||||
|
|
|
2 |
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
0 |
|
|
|
|
|
|
Задача 4.3.11. Найти, при каких значениях вероятностей появления 0 и 1 достигается максимальная скорость передачи информации по бинарному каналу, если длительность передачи нуля 0,2 сек, а единицы 0,8 сек.
Ответ. Максимум следует искать между значениями p1 =р2 = 0,5 и р1 =0,8; р2 = 0,2. С = 2,2 ÷ 2,31 бит/сек.
54
Задача 4.3.12. Число символов алфавита m = 4. Вероятности появления символов равны соответственно p1 = 0,15; р2 = 0,4; р3 = 0,25; р4 = 0,2. Длительности символов τ1= 3 сек.; τ2 = 2 сек.; τ3 = 5 сек.; τ4 = 6 сек. Чему равна скорость передачи сообщений, составленных из таких символов?
Ответ. С= 0,51 бит/сек.
Задача 4.3.13. Сообщения по данному каналу связи передаются частотным кодом. Всего частот 5. Встречаются они в сообщениях с равной вероятностью. Вероятности перехода одной частоты в другую равны между собой и составляют 5% от общего числа частот в передаваемых сообщениях. Определить пропускную способность такого канала связи, если источник вырабатывает частотные посылки со скоростью 10 посылок в секунду.
Ответ. Сп= 27 бит/сек.
Задача 4.3.14. Какое минимальное число вопросов необходимо задать собеседнику, чтобы угадать любое число из 240, если собеседник отвечает только «Да» и «Нет»?
Ответ.
= log2 = log2 24 + log2 10 = 7.9. log2
Так как 7,9 вопроса задать нельзя, то число вопросов будет
8.
55
5.КОНТРОЛЬНЫЕ ВОПРОСЫ
1.Поясните сущность понятия энтропии. В каких единицах измеряется энтропия?
2.Как определяется энтропия дискретной системы с равновероятными и неравновероятными состояниями?
3.В чем заключается особенность определения энтропии для непрерывных распределений?
4.Что такое условная и совместная энтропия?
5.Сформулируйте основные свойства энтропии сложных сообщений.
6.Поясните связь между энтропией и информацией.
7.Какие основные требования предъявляются к мере количества информации?
8.Как количественно оценивается информация при полной и неполной достоверности сообщений?
9.Поясните сущность понятий частной и полной инфор-
мации.
10.Что понимается под избыточностью сообщений?
11.Что является мерой количественной оценки избыточ-
ности?
12.Какими обобщенными характеристиками определяется сигнал и канал передачи информации?
13.Что понимается под объемом сигнала и емкостью канала передачи информации?
14.Сформулируйте необходимые и достаточные условия согласования сигнала с каналом передачи информации?
15.Объясните, как можно передать широкополосный сигнал через узкополосный канал без искажений?
16.Какими факторами определяется скорость передачи информации и пропускная способность канала?
17.Что понимается под дискретным каналом и непрерывным каналом?
18.Каким образом определяется пропускная способность дискретного канала с помехами и без помех?
56
19.В чем сущность теоремы Шеннона для дискретного канала без помех?
20.В чем сущность теоремы Шеннона для дискретного канала с помехами?
21.Каким образом определяется скорость передачи информации по непрерывному каналу с помехами?
22.Объясните характер зависимости пропускной способности канала с помехами от полосы пропускания канала?
23.Что понимается под эффективностью системы передачи и какими показателями она характеризуется?
24.Какие критерии применяются для оценки помехоустойчивости систем передачи информации?
25.Перечислите известные способы повышения помехоустойчивости передачи.
57
6.ТЕМЫ РЕФЕРАТОВ
1.Дискретные и непрерывные источники. Преобразование сообщений в сигнал. Модуляция и кодирование.
2.Каналы передачи. Теорема дискретизации. Квантование непрерывных сигналов.
3.Дискретные ансамбли и источники. Классификация дискретных источников. Оптимальные неравномерные коды.
4.Частное и полное (замкнутое) использование информации: ее передача/прием и реализация в действиях на основе содержания и ценности.
5.Задача кодирования дискретного источника. Высоковероятные множества источников без памяти.
6.Скорость создания информации источником без памяти при равномерном кодировании. Эпсилон-энтропия.
7.Прямая теорема кодирования Шеннона для дискретных каналов без памяти. Обратная теорема Шеннона.
8.Способы введения избыточности в передаваемые сообщения. Информационные пределы избыточности.
9.Регулярные и случайные коды. Эффективные методы сжатия информации. Реализуемые принципы помехоустойчивого кодирования.
10.Динамические приоритеты поведения субъекта, корректируемые по информационным поступлениям.
11.Непрерывные каналы с дискретным временем; пропускная способность канала.
12.Задача кодирования с заданным критерием качества.
13.Совместное кодирование для источника и канала. Цифровое кодирование с предсказанием.
14.Предельная эффективность системы передачи информации. Эффективность аналоговых и цифровых систем.
15.Связь с эффективностью защиты информации на основе соизмерения разнообразий собственника информации и его соперника.
16.Сплайн-интерполяция.
58