Добавил:

karavashkinaviydetzamenya Опубликованный материал нарушает ваши авторские права? Сообщите нам.

Вуз:

Московский технический университет связи и информатики

Предмет:

Основы теории информации

Файл:

LEKTsIYa_8

.pdf

Скачиваний:

Добавлен:

22.04.2024

Размер:

615.51 Кб

Скачать

☆

ЛЕКЦИЯ №8.

4.8. Функция скорость-искажение.

Под искажением понимается некоторая мера разности между отсчетами xk

источника и квантованными отсчетами ~ , k 1,2,... - дискретное время. За

меру возьмем

(4.19)

(xk xk )

Пусть

. Тогда искажение между данными векторами

x (x1,...., xn ), x

(x1

,......, xn )

– среднее искажение по n отсчетам:

n2,ср

(4.20)

n k 1

(4.20)

является

случайной

величиной

с математическим ожиданием

D M{ 2

} M{ 2

} 2 , т.к. процесс на выходе источника стационарный.

n,ср

Рассмотрим непрерывный источник без памяти, который имеет ФПB отсчета

w(x) и меру искажения на отсчет (4.19), где

x x, x

x .

Минимальная скорость в битах на отсчет, требуемая для представления выхода источника без памяти с искажением D , называется функцией скорость-искажение и определяется как

		R(D)	min			~
		R(D)	min			I (x, x )	,			(4.21)
			~	2	D		,			(4.21)
			w( x / x ):		D
где	~								~	, которая определяется
где	I (x, x ) - средняя взаимная информация между x и								x	, которая определяется
по формуле
	~		~			~	~
	~		~			w(x, x )	~
	I (x, x ) w(x, x ) log 2				(			)dxdx		(4.22)
	I (x, x ) w(x, x ) log 2				(	~		)dxdx		(4.22)
						w(x)w(x )

Так же (4.21) еще называют эпсилон - энтропией источника. При увеличении искажения D R(D) уменьшается.

Для гауссовского Н.И. без памяти Шеннон в 1959 году доказал теорему:

Минимальная скорость кодирования, необходимая для представления выхода дискретного во времени и непрерывного по амплитуде гауссовского источника без памяти равна

		1					2	), 0 D x2 ,
Rg			log	2	(		x		(4.23)
		2	log	2	(	D
	(D)	2				D
	0, D 2
						x

Rg (D) бит/отсчет

	0	D

		x2
		x2
	Теорема Шеннона кодирования источника с заданной мерой
	искажения.

Существует схема кодирования, которая отображает выход источника в

кодовые слова так,	что для любого данного	искажения	D минимальная
скорость R(D)	(бит/отсчет) источника	является	достаточной для

восстановления исходного сигнала со средним искажением, которое является произвольно близким к D .

Функция R(D) для любого Н.И. – нижняя граница скорости источника, которая является возможной для данного уровня искажения.

Верхняя граница для R(D) . Функция скорость – искажение Н.И. без памяти с нулевым средним и конечной дисперсией x2 при использовании средней квадратичной меры искажений (4.20) ограничена сверху:

R(D) Rg (D)

(4.24)

Доказательство этой теоремы дано Бергером в 1971 году. Таким образом, гауссовский источник требует максимальной скорости кодирования среди всех других источников при заданном уровне среднеквадратической ошибки.

Нижняя граница для R(D) :

R* (D) H d (x)	1	log	2 (2 eD)	(4.25)
	2

Таким образом функция скорость – искажения лежит в пределах

R* (D) R(D) Rg (D) .

Наиболее используемые ФПВ, которые являются моделями для источника сигнала сведены в таблицу [].

ФПВ						w(x)																	H d (x)		R (D) R* (D)
																									g
Гауссовский														x2				1						2	0
					1					e			2 x2									log 2		(2 e x )
					1								2 x2					2				log 2		(2 e x )


				2 x
Равномерный		1																			1		log	2 (12 x2 )	0.255
Равномерный		1					,	x								3 x					1				0.255
							,	x								3 x
	2		3 x															2
	2		3 x															2
Лапласа		1																		1 log 2 (2e2 x2 )					0.104
Лапласа		1										x								1 log 2 (2e2 x2 )					0.104
													2		x

									e
																		2

				2 x



Гамма		4			3														1 log 2 ( 4 e0.423 x2 )						0.709
Гамма		4			3							2 x							1 log 2 ( 4 e0.423 x2 )						0.709
											e					3	x
																3	x

																		2						3

		8 x							x

При кодировании источника квантователь может быть оптимизирован так, чтобы искажение было минимальным.

5. НЕПРЕРЫВНЫЙ КАНАЛ СВЯЗИ (НКС).

5.1. Информационные характеристики НКС.

x , w(x)		y , w( y)
x , w(x)	НКС	y , w( y)
	НКС
x { ; }	w( y / x)	y { ; }

Наиболее важный случай - канал с аддитивным белым гауссовским шумом (АБГШ), для которого

y x ,

(5.1)

где - стационарный гауссовский процесс с нулевым математическим ожиданием и дисперсией 2 .

Среднее значение взаимной информации определяется по формуле

	w(x, y) )dxdy
I (x, y) w(x, y) log 2 (	w(x, y) )dxdy	(5.2)

	w(x)w( y)

Скорость передачи взаимной информации RКС определяется по (3.2).

Пропускная способность НКС (см.ф-лу (3.3)) :

C max RKC (бит/отсчет с)

{w( )}

Пропускная способность гауссовского канала связи (ГКС).

Пусть ширина полосы рабочих частот канала Fв : 0 f Fв . Пропускная способность ищется следующим образом:

(Hd ( y) H ( y / x))max ,

где

- длительность реализации случайных процессов x(t), y(t) .

Вместо

одного

отсчета

рассмотрим

выборку

(x1

,...., xn ) ,

объем

( y1 ,...., yn ), xn

выборки n 2F T

, т.к.

, t

n 2F T

. Тогда

2Fв

2F T

H d ( yn ) H d ( yk )

log 2

(2 e y2 )

log 2 (2 e y2 )

log 2

(2 e y2 ) FвTH log 2 (2 e y2 ) H d max ( yn )

k 1

Причем, 2

2 . В результате имеем H

)

F T

log

(2 e(

2 )) .

max

( y

в H

Далее с учетом формулы (5.1) запишем:

H ( yn

/ xn ) H d

( yn xn )

H d ( n ) H d

( k )

log 2

(2 e

)

log

2 (2 e )

FвTH log

2 (2 e )

k 1

Тогда пропускная способность гауссовского канала связи равна

F T

в H

(log

(2 e( 2

2 )) log

(2 e

2 ))

F log

(

) F log

(1 q) ,

где q

- отношение сигнал/шум,

N 0 - односторонняя СПМ белого

F N

гауссовского шума.

C F log

(5.3)

)

Fв N0

C , бит/с

x log 2 e - предельная

пропускная способность.

Fв , Гц

Таким образом, пропускная способность ГКС растет с увеличением ширины

полосы канала и стремится к предельному значению	2		e .
	x log	2
	N0

6. ПОМЕХОУСТОЙЧИВОЕ КОДИРОВАНИЕ.

Для увеличения помехоустойчивости приема (уменьшения вероятности ошибки) применяют канальное (помехоустойчивое) кодирование. Оно позволяет обнаружить и исправить ошибки в приемнике, тем самым уменьшая вероятность ошибки приема символа.

6.1. Линейные блоковые коды.

Блоковый код состоит из набора векторов фиксированной длины, которые называются кодовыми словами. Длина кодового слова – число элементов в векторах, обозначим ее буквой n . Элементы кодового слова выбираются из алфавита с q элементами. Если q 2 , тогда код называют двоичным. Если q 2 , то код недвоичный. Если же q 2b , где b - целое положительное число, то каждый элемент имеет эквивалентное двоичное представление, состоящее из b битов. Т.е. недвоичный код длины N можно представить двоичным кодом

длиной n bN .
Кодовое слово длины n содержит k n		информационных символов. Код
обозначается как (n, k) - код, а отношение
R	k	(6.1)

c	n

называется скоростью кода. Величина 1 Rc - избыточность.

Блок из k информационных бит отображается в кодовое слово длины n , выбираемое из набора M 2k кодовых слов. Каждое кодовое слово состоит из k информационных бит и n k проверочных.

Вес кода wi (i 1,2,.., M ) – число ненулевых элементов слова, является одной из важных характеристик кода. Для двоичных кодов вес это количество единиц в кодовом слове. Каждое кодовое слово имеет свой вес. Набор всех весов кода {wi } образует распределение весов кода. Если все M кодовых слов имеют одинаковый вес, тогда код называется кодом с постоянным весом.

Функции кодирования и декодирования включают арифметические операции сложения и умножения, выполненные над кодовыми словами. Эти операции соответствуют соотношениям и правилам для алгебраического поля с q

элементами. Если q 2 , то имеем символы {0;1} . В общем поле F состоит из q элементов {0;1;.....q 1}. Операции сложения и умножения удовлетворяют следующим аксиомам.

Сложение.

1.Поле F замкнуто относительно сложения: если a, b F , то a b F .

2.Ассоциативность: если a, b, c F , то a (b c) (a b) c .

3.Коммутативность: a, b F a b b a .

4.Поле F содержит нулевой элемент 0 такой, что a 0 a .

5.Каждый элемент поля F имеет свой отрицательный элемент, т.е., если

b F b F его отрицательный элемент. Вычитание	a b определено как
a ( b) .
Умножение.

1.Поле F замкнуто относительно умножения: если a, b F , то ab F .

2.Ассоциативность: если a, b, c F , то a(bc) (ab)c .

3.Коммутативность: a, b F ab ba .

4.Поле F содержит единичный элемент 1такой, что a 1 a .

5.Каждый элемент поля F , исключая нулевой элемент, имеет обратный. Если

b F , b 0 b 1 его обратный элемент и	b b 1 1. Деление	a	определено как
b F , b 0 b 1 его обратный элемент и	b b 1 1. Деление	b	определено как
		b
ab 1 .

Из курса «Математики» хорошо известны поля вещественных и комплексных чисел. Эти поля имеют бесконечное число элементов. Поля, из которых строятся коды, имеют ограниченное число элементов.

Ограниченное поле с q элементами называют полем Галуа и обозначают

GF(q) . Операции сложения и умножения осуществляются по модулю q

( mod q ).

Пример 1. GF(2)

	0	1
0	0	1
1	1	0
	0	1
0	0	0
1	0	1

Пример 2. GF(5) .

	0	1	2	3	4
0	0	1	2	3	4
1	1	2	3	4	0
2	2	3	4	0	1
3	3	4	0	1	2
4	4	0	1	2	3

	0	1	2	3	4
0	0	0	0	0	0
1	0	1	2	3	4
2	0	2	4	1	3
3	0	3	1	4	2
4	0	4	3	2	1

Если q pm , где p, m - целые положительные числа, то поле GF( p) можно расширить до GF ( pm ) . Операции сложения и умножения проводятся по модулю p, (mod p) .

Соседние файлы в предмете Основы теории информации

#
22.04.2024581.52 Кб0LEKTsIYa_3.pdf
#
22.04.2024582.9 Кб0LEKTsIYa_4.pdf
#
22.04.2024559.38 Кб0LEKTsIYa_5.pdf
#
22.04.2024824.18 Кб0LEKTsIYa_6.pdf
#
22.04.2024653.05 Кб0LEKTsIYa_7.pdf
#
22.04.2024615.51 Кб0LEKTsIYa_8.pdf
#
22.04.2024681.75 Кб0LEKTsIYa_9.pdf

	0	1	2	3	4
0	0	1	2	3	4
1	1	2	3	4	0
2	2	3	4	0	1
3	3	4	0	1	2
4	4	0	1	2	3

	0	1	2	3	4
0	0	0	0	0	0
1	0	1	2	3	4
2	0	2	4	1	3
3	0	3	1	4	2
4	0	4	3	2	1

	0	1	2	3	4
0	0	1	2	3	4
1	1	2	3	4	0
2	2	3	4	0	1
3	3	4	0	1	2
4	4	0	1	2	3

	0	1	2	3	4
0	0	0	0	0	0
1	0	1	2	3	4
2	0	2	4	1	3
3	0	3	1	4	2
4	0	4	3	2	1

	0	1	2	3	4
0	0	1	2	3	4
1	1	2	3	4	0
2	2	3	4	0	1
3	3	4	0	1	2
4	4	0	1	2	3

	0	1	2	3	4
0	0	0	0	0	0
1	0	1	2	3	4
2	0	2	4	1	3
3	0	3	1	4	2
4	0	4	3	2	1