Методическое пособие 280

0.397( ) = (0.301).

0.302

Согласно (1.1), безусловная энтропия H(Y) выходного сигнала

( ) = − ∑ ( ) log2 ( );

H(Y) = 1.572 bit.

На основании (1.7) с учетом P(xi,yj)=P(xi)P(yj/xi) условная энтропияH(Y/X) выходного сигнала Y относительно входного

X

3 3

( ⁄ ) = ∑ ∑ ( ) ( ⁄ ) log2 ( ⁄ ).

=1 =1

Раскрывая знак суммы при P(x)(p1 , p2 , p3), имеем

( ⁄ ) = −( ( 3) + ( 1)

+ ( 2))( 1 log2 1 + 2 log2 2 + 3 log2 3).

Так как сумма вероятностей

( ( 3) + ( 2) + ( 1)) = 1,

то условная энтропия принимает вид

( ⁄ ) = − 3 log2 3 − 1 log2 1 − 2 log2 2

и не зависит от статистик входного и выходного сигналов. Она полностьюопределяется параметрами канальной матрицы.

Согласно (2.3), количество информации на выходе канала связи

I(X,Y)=H(Y)-H(Y/X)

29

будет максимально при максимуме энтропии приемника H(Y). Энтропия H(Y)максимальна в случае равной вероятности сигналов на выходе канала, т.е.когда при числе сигналов N= 3 их вероятности

P(yj) = 1 / N; P(y1) = 0.333 ; P(y2) = 0.333 ; P(y3) = 0.333.

В этом случае энтропия выходных сигналов канала соответствует мере Хартлии равна 2 , т.е.

H(Y)max= l 2 ; H(Y)max = 1.585 bit.

Таким образом, максимальное количество информации на выходе каналасвязи, определяемое как

I(X,Y)max=H(Y)max-H(Y/X),

будет

( ) = log2 + 3 log2 3 + 1 log2 1 + 2 log2 2.

Пропускная способность канала

= (log2 + 3 log2 3 + 1 log2 1 + 2 log2 2)

исоставляет C = 136.302 bit/sec.

Согласно (1.1), безусловная энтропия H(X) входного сиг-

нала

3

( ) = − ∑ ( ) log2 ( );

=1

H(X) = 1.571 bit.

При этом, согласно (3.2) и (2.2), производительность Ĩ источника

Ĩ= ( ) →

(− 3 2 3 − 1 2 1 − 2 2 2)

30

и составляет Ĩ = 157.095 bit.

Так как Ĩ >C, то канал связи нельзя использовать для передачи информации от данного источника.

Пример 3.2.4. Определить максимально возможную скорость передачи информации по радиотехническому каналу связи пункта управления с телеуправляемой ракетой, если полоса пропускания канала связи равнаF= 3MHz , а минимальное отношение сигнал/шум по мощности Pxξ=Px/Pξв процессе наведения ракеты на цель Pxξ= 3.

На основании (3.8) пропускная способность данного непрерывного канала

C= Flog2 ( 1 + Pxξ) и составляет C = 6 106bit/sec.

3.3. Типовые задачи

Задача 3.3.1. Алфавит состоит из четырех букв x1, x2, x3 и x4. Вероятности появления символов P(xi) заданы векторстолбцом

Между соседними символами имеются корреляционные связи, которые описываются матрицей условных вероятностей P(xi/xj)следующего вида

Требуется определить избыточность источника при статистической независимости символов и при учете зависимости между ними.

31

Ответ. Избыточность источника при статистической независимости символов R1 = 0.125 и при статистической зависимости символов R2 = 0.184.

Задача 3.3.2. Для передачи сообщений используется код, состоящий из трех символов, вероятности появления которых равны 0.8, 0.1 и 0.1.

Корреляция между символами отсутствует. Определить избыточность кода.

Ответ. Избыточность кода R=0.42.

Задача 3.3.3. Измерительное устройство вырабатывает при среднеквадратическом отклонении σu = 6 volt и параметре α = 1 sec-1случайный сигнал U(t) с нормальной плотностью вероятности и корреляционной функцией

( ) = 2 −| |.

Определить избыточность сигнала, вызванную наличием корреляции.

Ответ. При шаге квантования Δu = 1 volt избыточность сигнала

Задача 3.3.4. На вход канала связи поступает ансамбль сигналов {xi}, i = 1.. 3 с длительностью τ = 0.01 sec и частотой следования F= 1/τ. Сигнал x1значительно отличается от других и всегда принимается правильно. Априорные вероятности P(xi) и вероятности переходов P(yj/xi), j= 1.. 3имеют ипараметрах p= 0.6; q= 0.2 и p0= 10 -2 значения, указанные в соответствующих матрицах

32

Требуется найти пропускную способность канала связи и установить, можно ли использовать данный канал для передачи информации от заданного источника.

Ответ. При введении коэффициента

= 0 log2 0 + (1 − 0) log2(1 − 0)

пропускная способность канала

2− + 2= log2 ( 2− ) ;

C = 154.787 bit/sec.

Производительность источника

Ĩ = 137.095 ⁄ .

Задача 3.3.5. На вход канала связи поступает ансамбль сигналов {xi}, i = 1.. 3 с длительностью τ = 0.01.sec и частотой следования F = 1 / τ. Априорные вероятности P(xi) и условные вероятности P(yj/xi), j = 1.. 3 имеют и вероятности ошибки p0= 10-2 значения, указанные в соответствующих матрицах

Вычислить пропускную способность канала связи и установить,достаточно ли предоставленного канала для передачи информации от источника.

Ответ. Пропускная способность канала

= [log2 3 + [ 0 log2 0 + (1 − 0) log2(1 − 0)]];

C = 150.417 bit/sec.

Производительность источника

33

Ĩ= 137.095 bit/sec.

Задача 3.3.6. Определить пропускную способность канала связи, по которому передаются сигналы {xi}, i = 1.. 4 с длительностью τ = 0.01sec и частотой следования F = 1/ τ. Влияние помех характеризуется j = 1.. 4и вероятности ошибки p0= 10 -2 матрицей условных вероятностей

Ответ. Пропускная способность канала

= [2 + [ 0 log2 0 + (1 − 0) log2(1 − 0)]];

C = 280.46 sec 1 bit.

Задача 3.3.7.Определить полосу пропускания канала передачи телевизионного черно-белого изображения с числом элементов N = 5*105 , числом кадров K = 25 за время τ = 1sec и числом градаций яркости G = 8 для отношения сигнал-по- меха ρ = 15 при условии, что изображение может принимать наиболее хаотичный вид, а именно вид белого шума.

Ответ. Полоса пропускания канала

F = 9.375 MHz.

Примечание. Изображение принимает вид белого шума, если все его элементы как в одном кадре, так и в различных кадрах независимы.

Задача 3.3.8. Определить пропускную способность симметричного канала с матрицей условных вероятностей

34

Ответ. Пропускная способность C = 0.09 bit/символ.

Задача 3.3.9. Двоичный источник с равновероятными элементами имеет производительность vI(x) = 1000bit/sec. При передаче по каналу в среднем один из переданных 100 символов искажается. Определить скоростьпередачи информации по данному каналу.

Ответ. При вероятности ошибки p0= 10 -2 скорость передачи информации по каналу

( )

Ĩ = ( ) = ln 2 [ln 2 + 0 log2 0 + (1 − 0) log2(1 − 0)]; vI(k) = 919.207 bit/sec.

Задача 3.3.10.По радиоканалу с минимальным временем передачи сигнала Tk= 1sec и полосой частот f k = 100 kHz , в котором действует белый гауссов шум со спектральной плотностью мощности S0= 1.6*10 -3 watt/kHz , передается сигнал u(t), имеющий граничную частоту fc = 10kHz и среднюю мощность Pu = 14watt . Сколько времени займет передача сигнала по данному каналу.

Ответ. Время передачи сигнала

35

4.КОНТРОЛЬНЫЕ ВОПРОСЫ

1.Поясните сущность понятия энтропии. В каких единицах измеряется энтропия?

2.Как определяется энтропия дискретной системы с равновероятными и неравновероятными состояниями?

3.В чем заключается особенность определения энтропии для непрерывных распределений?

4.Что такое условная и совместная энтропия?

5.Сформулируйте основные свойства энтропии сложных сообщений.

6.Поясните связь между энтропией и информацией.

7.Какие основные требования предъявляются к мере количества информации?

8.Как количественно оценивается информация при полной и неполной достоверности сообщений?

9.Поясните сущность понятий частной и полной инфор-

мации.

10.Что понимается под избыточностью сообщений?

11.Что является мерой количественной оценки избыточности?

12.Какими обобщенными характеристиками определяется сигнал и канал передачи информации?

13.Что понимается под объемом сигнала и емкостью канала передачи информации?

14.Сформулируйте необходимые и достаточные условия согласования сигнала с каналом передачи информации?

15.Объясните, как можно передать широкополосный сигнал через узкополосный канал без искажений?

16.Какими факторами определяется скорость передачи информации и пропускная способность канала?

36

5.ТЕМЫ РЕФЕРАТОВ

1.Дискретные и непрерывные источники. Преобразование сообщений в сигнал. Модуляция и кодирование.

2.Каналы передачи. Теорема дискретизации. Квантование непрерывных сигналов.

3.Дискретные ансамбли и источники. Классификация дискретных источников. Оптимальные неравномерные коды.

4.Частное и полное (замкнутое) использование информации: ее передача/прием и реализация в действиях на основе содержания и ценности.

5.Задача кодирования дискретного источника. Высоковероятные множества источников без памяти.

6.Скорость создания информации источником без памяти при равномерном кодировании. Эпсилон-энтропия.

7.Прямая теорема кодирования Шеннона для дискретных каналов без памяти. Обратная теорема Шеннона.

8.Способы введения избыточности в передаваемые сообщения. Информационные пределы избыточности.

9.Регулярные и случайные коды. Эффективные методы сжатия информации. Реализуемые принципы помехоустойчивого кодирования.

10.Динамические приоритеты поведения субъекта, корректируемые по информационным поступлениям.

11.Непрерывные каналы с дискретным временем; пропускная способность канала.

12.Задача кодирования с заданным критерием каче-

ства.

13.Совместное кодирование для источника и канала. Цифровое кодирование с предсказанием.

14.Предельная эффективность системы передачи информации. Эффективность аналоговых и цифровых систем.

15.Связь с эффективностью защиты информации на основе соизмерения разнообразий собственника информации

иего соперника.

16.Сплайн-интерполяция в защищенной связи.

37

ПРИЛОЖЕНИЕ 1. Функция –P log2P и энтропия двоичного источника

Таблица П.1 Функция –Plog2Pи энтропия двоичного источника

38