LEKTsIYa_1
.pdf
1
ЛЕКЦИЯ №1.
ВВЕДЕНИЕ.
Теория информации - математическая дисциплина. Предмет изучения – характеристики и передача информации. В теории информации (ТИ) рассматриваются понятия: объем данных, скорость передачи, пропускная способность канала, источник информации, энтропия источника, эффективное и помехоустойчивое кодирование.
ТИ, созданная математиком Клодом Элвудом Шенноном в 1948 г, первоначально применялась в области связи. Сейчас она применяется и в других областях, например в вычислительной технике [].
Обобщенная структурная схема системы передачи сообщений.
x(t) |
|
X {0,1} |
Z {0,1} |
передатчик s(t) |
||||||
|
|
|
|
|
|
|
|
|
|
|
ИС |
|
Кодер источника |
|
|
Кодер канала |
|
|
|
Модулятор |
|
|
|
|
|
|
|
|
|
|
|
|
s(t) |
Канал связи |
y(t) |
|
|
|
Демодулятор |
|
Декодер канала |
|
Декодер источн. |
|
Адресат |
|
|
|
|
|
|
|
y(t) |
Z {0,1} |
X {0,1} |
x(t) |
|
ˆ |
ˆ |
приемник ˆ |
1) ИС – источник сообщений. На его выходе – аналоговый x(t) или цифровой
сигнал xi ,i 1,2,3,.... .
ИС |
|
Дискретный источник |
Непрерывный источник |
(ДИ) |
(НИ) |
На выходе ДИ информации – дискретные случайные последовательности сообщений (символов), на выходе НИ – непрерывный случайный процесс.
2) Кодер источника – устройство, преобразующее передаваемое сообщение в последовательность двоичных символов X {0,1}. Например, 00101110….. – кодовое слово длины к (к – количество символов «0» и «1» в кодовом слове).
2
0 0 |
1 0 1 1 1 |
0 |
t
T
Символы «0» и «1» называются битом. Т – длительность одного бита. Тогда говорят, что двоичные символы следуют со скоростью
R |
1 |
(бит/с) |
|
T |
|||
|
|
Кодер источника осуществляет сжатие данных с помощью эффективного кодирования. Цель – избавиться от избыточности, которой обладают реальные источники информации, для эффективного использования канала связи при передаче сообщений.
3)Кодер канала – устройство, преобразующее кодовые слова с выхода кодера источника в помехоустойчивые (корректирующие) коды Z , которые позволяют обнаруживать и исправлять ошибки в приемнике.
4)Модулятор преобразует последовательность Z {0,1} в передаваемый по каналу сигнал, соответствующий передаваемому сообщению.
5)Канал связи – техническое устройство или физическая среда распространения сигналов. Например, провода, коаксиальный кабель, волоконно - оптический кабель (ВОК), радиоканал. В канале происходит искажение сигнала из-за помех и шумов.
6)Демодулятор преобразует искаженный каналом сигнал в последовательность двоичных символов, т.е. оценивает помехоустойчивый
код ˆ .
Z
7) Декодер канала восстанавливает первоначальную последовательность по
полученному помехоустойчивому коду, т.е. оценивает эффективный код ˆ .
X
8) |
Декодер источника |
– устройство, преобразующее последовательность |
|
|
ˆ |
ˆ |
ˆ |
двоичных символов X {0,1} в сообщение x(t) ( xi ,i 1,2,3,.... ). |
|||
9) |
Адресат – лицо или устройство, которому предназначено переданное |
||
сообщение. |
|
|
|
3
1. СООБЩЕНИЯ, СИГНАЛЫ И ПОМЕХИ КАК СЛУЧАЙНЫЕ ПРОЦЕССЫ.
Случайная функция – семейство случайных величин (t) , зависящих от действительного параметра t . Если t - текущее время, то (t) - случайный процесс (СП). СП характеризуется множеством функций времени:
(t) {x(k ) (t),t T0}
ивероятностной мерой, заданной на этом множестве, где k - номер реализации, T0 - область определения СП. Множество , которому
принадлежат возможные значения (t) - пространство значений процесса.
|
СП |
|
с дискретным временем |
с непрерывным временем |
|
(случайные последовательности) |
x( k ) (t) |
|
дискретные |
непрерывные |
t |
- конечное (счетное) |
- континуум |
|
x(k ) |
x(k ) (t ) |
|
i |
i |
|
ti |
|
ti |
ti ti,i 1,2.3....., t - шаг временной дискретизации.
Совокупность значений случайного процесса в моменты времени ti образуют
векторную случайную величину 1 |
2 |
n , i (ti ) . |
||
(t |
) |
x(1) (t ) |
|
|
i |
|
i |
|
|
x(2) (ti )
x(3) (t1 )
x(1) (t1 )
x( 2) (t1 )
t1 |
t2 |
t3 |
t4 |
ti |
x(3) (ti )
4
1.1. Функции распределения и плотности вероятности СП.
Фиксируем последовательно i 1,2,3,.....,n . Тогда одномерная функция распределения СП (t) определяется следующим образом F1 (xi ,ti ) P{ (ti ) xi } ,
двумерная - F2 (xi , xj ,ti ,t j ) P{ (ti ) xi , (t j ) xj } , |
где xi - пороги и т.д. В общем |
||||||||||||||||
случае n - мерная функция распределения задается выражением: |
|
|
|
|
|||||||||||||
Fn (x1,...xn ,t1,....tn ) P{ (t1 ) x1,.... (tn ) xn}, |
|
|
|
(1.1) |
|||||||||||||
где xi - пороги, ti - параметры, |
P{ } - совместная вероятность того, что значения |
||||||||||||||||
СП (ti ) не превысят порогов |
xi . Функция распределения должна |
||||||||||||||||
удовлетворять условиям симметрии: Fn (x1,...xn |
,t1,...tn ) Fn (xk |
,...xk |
,tk ,...tk |
) , где |
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
1 |
|
n 1 |
n |
|
|
|
k1,...kn - целые числа от 1 до |
n , расположенные в произвольном порядке, |
и |
|||||||||||||||
условию согласованности: |
lim |
Fn (x1 ,...xn , t1 ,...tn ) Fk (x1 ,...xk , t1 ,....tk ) . |
|
|
|
|
|||||||||||
|
x j |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
j k 1,.... n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
Одномерная плотность распределения вероятности СП (t) - |
w1 (x,t) |
dF1 (x,t) |
, |
||||||||||||||
dx |
|
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 F (x , x |
,t |
,t |
j |
) |
|
|
|
|
|
|
|
|
|
|
||
двумерная - w2 (xi , x j ,ti ,t j ) |
|
2 |
i j |
i |
|
|
и т.д. Тогда n - |
мерная плотность |
|||||||||
|
xi x j |
|
|
|
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
распределения СП имеет вид: |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
wn (x1,....xn ,t1,...tn ) |
n F (x ,....x ,t ,...t |
) |
. |
|
|
|
(1.2) |
|
|
||||||||
|
n |
1 n 1 |
n |
|
|
|
|
|
|
||||||||
x1.... xn
Условие |
симметрии: |
wn (x1...xn ,t1,...tn ) wn |
(xk |
,....xk |
n |
,tk |
,...,tk |
n |
|
|
|
|
|
1 |
|
1 |
|
||
|
|
|
|
|
|
|
|
|
|
согласованности: wk (x1,...xk ,t1,...tk ) |
... wn (x1,...xk , xk 1,...xn ,t1,...tk ,tk 1 |
||||||||
|
|
|
|
|
|
|
|
|
|
1.2.Моментные функции случайного процесса.
1)Среднее значение СП:
) , условие
,...tn )dxk 1...dxn .
|
|
M{ (t)} xw1 (x,t)dx mx (t) . |
(1.3) |
2) Дисперсия СП:
|
|
M{ t) mx (t)}2 (x mx (t))2 w1 (x,t)dx x2 (t) . |
(1.4) |
5
x (t) - наиболее вероятное максимальное отклонение значений СП от среднего значения mx (t) в момент времени t .
3) Корреляционная функция СП:
|
|
|
|
|
M{ (ti ) (t j )} xi x j w2 (xi , x j ,ti ,t j )dxi dxj |
Rx (ti ,t j ) . |
(1.5) |
|
|
|
|
4) Ковариационная функция СП: |
|
|
|
|
|
|
|
M{( (ti ) mx (ti ))( (t j ) mx (t j ))} (xi mx (ti ))(x j mx (t j ))w2 (xi , x j ,ti ,t j )dxi dx j Bx (ti ,t j ) |
(1.6) |
||
|
|
|
|
Здесь |
M{ } - оператор математического ожидания. Корреляционная и |
||
ковариационная функция показывают статистическую связь, между
значениями процесса (ti ) |
и |
(t j ) . |
|
|
|
|
|
|
|
||||||
|
|
|
1.3. Совокупность случайных процессов. |
|
|||||||||||
Рассмотрим два СП (t) и (t) : 1 |
n , 1 |
|
m , где i (ti ) , |
||||||||||||
j (t j ) , |
i 1,2,....,n; |
j 1,2,....m . Тогда |
совместная |
функция распределения |
|||||||||||
определяется следующим образом: |
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
, |
|
|
(1.7) |
|
|
|
|
Fn m (xn |
, ym ,tn |
,tm ) |
P{ |
xn , ym ) |
|
|
||||||
|
x |
x |
|
y |
|
y |
|
|
t |
|
|
t' |
t' |
. |
|
где x |
, y |
, t t |
, t |
||||||||||||
n |
1 |
n |
m |
|
1 |
|
m n |
1 |
n |
m |
1 |
m |
|
||
Совместная плотность распределения вероятности двух процессов имеет вид:
|
|
|
|
|
|
|
|
) |
|
|
||
n m F (x , y |
|
,t |
|
,t |
|
|
|
|||||
wn m (xn |
, ym |
,tn ,tm ) |
n m n |
|
m |
|
n |
|
m |
|
. |
(1.8) |
|
|
|
|
|
|
|
||||||
|
|
|
xn ym |
|
|
|
|
|
|
|
|
|
Два случайных процесса называются независимыми, если для любого n и m выполняются равенства
Fn m |
|
|
|
|
|
|
|
|
|
|
|
|
|
(xn |
, ym |
,tn |
,tm ) Fnx |
(xn |
,tn ) Fmy |
( ym |
,tm ), |
(1.9) |
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
wn m (xn |
, ym |
,tn |
,tm ) wnx |
(xn |
,tn ) wmy |
( ym |
,tm ) |
|
|||||
Т.е. процессы независимы, если их совместная функция распределения (1.7) или совместная плотность распределения вероятности (1.8) факторизуется.
6
Определим взаимную корреляционную и ковариационную функцию двух СП
|
|
|
M{ (ti ) (t j )} xyw2 (x, y,ti ,t j )dxdy Rxy (ti ,t j ), |
|
|
|
(1.10) |
|
|
||
|
||
M{( (ti ) mx (ti ))( (t j ) my (t j ))} (x mx (ti ))( y my (t j ))w2 (x, y,ti ,t j )dxdy Bxy (ti ,t j ) |
|
|
|
|
|
причем, Rxy (ti , t j ) Rxy (t j , ti ), Bxy (ti , t j ) Bxy (t j , ti ) . |
|
|
Два случайных процесса называются некоррелированными, если |
|
|
Bxy (ti , t j ) Rxy (ti , t j ) mx (ti )my (t j ) 0 . |
(1.11) |
Из независимости СП следует их некоррелированность. Обратное в общем случае неверно.
1.4. Стационарные случайные процессы.
Случайные процесс (t) называется стационарным в узком смысле, если для
произвольной последовательности t1 ,.....tn , для любого |
момента t0 и целого |
числа n 1функция распределения вероятности |
(1.1) инвариантна |
относительно сдвига переменной t : |
|
Fn (x1 ,..., xn , t1 ,..., tn ) Fn (x1 ,..., xn , t1 t0 ,..., tn t0 ) . |
(1.12) |
Необходимые условия стационарности в узком смысле. |
|
1) Необходимо, чтобы одномерная функция распределения не зависела от времени, т.е. F1 (x, t) F1 (x) . Тогда не зависят от времени также w1 (x, t) w(x) ,
mx (t) mx , x2 (t) x2
2) Необходимо, чтобы двумерная функция распределения зависела не от двух моментов времени, а только от разности между ними ti t j , т.е.
F2 (xi , x j , ti , t j ) F2 (xi , x j , ) . Тогда зависят только от этой разности и
w2 (xi , x j , ti , t j ) w2 (xi , x j , ) ,
|
|
Rx (ti , t j ) Rx ( ) xi x j w2 (xi , x j , )dxi dx j , |
(1.13) |
Bx (ti ,t j ) Bx ( ) (xi mx )(x j mx )w2 (xi , x j , )dxi dx j .
7
Случайный процесс называется стационарным в широком смысле, если его среднее значение и дисперсия не зависит от времени mx (t) mx , x2 (t) x2 , а его корреляционная и ковариационная функция зависят только от разности между двумя моментами времени Rx (ti , t j ) Rx ( ), Bx (ti , t j ) Bx ( ) .
Необходимые условия стационарности в узком смысле являются достаточными условиями стационарности в широком смысле.
1.5. Эргодические случайные процессы.
Стационарный СП называется эргодическим, если при нахождении любых вероятностных характеристик, усреднение по множеству реализаций может быть заменено усреднением по времени:
|
|
|
|
|
|
|
|
1 |
|
TH |
|
|
|
|
||||
|
mx lim |
|
|
|
|
x(k ) (t)dt |
, |
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|||||||||
|
TH |
T |
|
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
H |
|
|
0 |
|
|
|
|
|
|
|
|
|
|
|
|
T |
|
|
|
|
|
|
|
|
|
||
x2 |
lim |
|
|
1 |
|
|
H (x(k ) (t) mx )2 dt , |
|
(1.14) |
|||||||||
|
TH |
|
|
|||||||||||||||
|
TH |
|
|
0 |
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
T |
|
|
|
|
|
|
|
|
m2 x lim |
1 |
|
|
H (x(k ) (t))2 dt , |
|
|
||||||||||||
|
TH |
|
|
|
|
|||||||||||||
|
TH |
|
|
|
0 |
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
1 |
|
TH |
|
|
|
|
|
||||
Rx ( ) lim |
|
|
|
x(k ) (t)x(k ) |
(t )dt , |
|
|
|||||||||||
|
|
|
|
|
|
|
||||||||||||
|
|
|
|
|
|
|
||||||||||||
|
TH |
T |
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
H |
|
|
0 |
|
|
|
|
|
|||
где x( k ) (t) - k - ая реализация случайного процесса (t) , T |
H |
- ее длительность. |
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Здесь mx можно рассматривать как постоянную составляющую реализации x( k ) (t) , а m2 x как среднюю мощность сигнала.
Домашнее задание. Изучить свойства функций распределения и функций плотности распределения вероятности.