книги из ГПНТБ / Казаков В.А. Введение в теорию марковских процессов и некоторые радиотехнические задачи
.pdf*ej[P = -liAt)Pi(t) |
+ ki(t)PAt). |
/ = 2,3 |
N. |
В частном случае, |
когда N = 2, |
рассматриваемый |
|
процесс вырождается |
в марковский процесс с двумя со |
стояниями, возможная реализация которого изображена на рис. 2.1. Тогда из (2.60) получаем
|
= |
- аІ 2 (0 Рг (t) + я„ (0 |
Р2 (*). |
(2.61) |
^ |
= - |
я и (0 р2 (0 + *„ (0 л |
(0. |
(2-62) |
Поскольку для каждого момента времени имеет место соотношение Pi(i)+pz(t) = l, то вместо двух уравнений (2.61), (2.62) можно рассматривать одно из них.
N
3
1
Рис. 2.9.
Исследуем подробнее однородный процесс с двумя состояниями, для которого
' Xa(t)=3^2=<iJ |
•ÄaiOO=^ai='ß. |
(2.63) |
Тогда вместо (2.61) имеем
^Р- = - aPl'(t) + ßp2 (0 = - YP, (0 + ß, (2.64)
где
(2.65)
Решение уравнения (2.64) при начальном условии Рі(іо) имеет вид
P , ( f o . 0 = P 1 ( g ^ ( ^ ) + J r ( l - e - ^ > ) |
(2.66) |
60
Или |
|
|
|
p 2 ( C ) = P 2 ( ' o ) e - 7 ( ' - ' ° 4 - f - е _ Т < ^ 0 ) ) - |
( 2 - 6 ? ) |
||
Для стационарного режима |
(t—>-оо) из |
(2.66), |
(2.67) |
получаем |
|
|
|
р , {to. * ) = Р . = - у > |
Рг (to, 0 = р 2 = |
-у. |
(2.68) |
Найдем теперь корреляционную функцию импульсно го марковского процесса с двумя состояниями, для чего
вычислим совместные |
вероятности p(Xi, Xj, т) |
состояний |
|||||||
Хі и х% разделенных |
временным интервалом |
и |
|
||||||
Составим согласно |
|
(2/.37) |
систему уравнений для ве |
||||||
роятностей перехода |
|
|
|
|
|
|
|
|
|
Щ і £ |
= |
- |
aPil |
(*„, t) + |
ßp*. (t0, t), |
|
(2.69) |
||
dPi*V°J) |
= |
aPil |
(t0, t) - p P f t (t0, t). |
|
(2.70) |
||||
Начальное условие |
для нее задается |
соотношением |
|||||||
(2.34). Решение системы |
(2.69), (2.70) имеет вид |
|
|||||||
А, ('..') = -$-(! |
- е - ^ - ' ° ' ) + е - ^ - ' ° \ |
(2.71) |
|||||||
Р-АК. t) = |
~ { \ |
- е ^ < ' - « ) |
+ е - т |
<'-'•», |
(2.72) |
||||
AJ^ . , |
0 = |
^ ( 1 - е - 7 |
" - ' " ' ) , |
|
|
(2.73) |
|||
А, (^. 0 = |
^ ( |
1 - е - |
7 ( М о ) ) . |
|
|
(2.74) |
Поскольку при a=const, ß=const марковский про цесс однороден, то вероятности перехода (2.71)—>(2.74) зависят только от разности аргументов t—U=x. Для стационарного режима совместные вероятности р(хі, Xj, %) на основании (2.68), (2.71) — (2.74) записываются сле дующим образом:
р ( х 1 Д ^ ) = № І « |
= |
^ |
( І - |
е |
- 1 |
Н |
{ ^ , |
(2.75) |
||
р |
хѵ |
х) = |
p l |
P l 2 |
(*) = |
І |
( і _ |
е - т ^ |
(2.76) |
|
P(x 2 ,x a ,x) = |
p2 pä 2 (x) = |
^ |
( l - |
е |
- ^ + |
^ - е - ^ , |
(2.77) |
|||
р (*2, |
X i , т) =р 2 р2і (т . ) = р (х ь |
х2, |
т). |
(2.78) |
61
Общее выражение для корреляционной функции
|
kx (х) == S XiXjP |
{Xi, Xj, t) — |
XiPi^j |
||||
при Xi=x, |
xz=x |
+ a |
с |
помощью |
соотношений (2.68), |
||
(2.75) — (2.78) |
приводится |
к виду |
|
|
|||
|
|
М , ) |
= |
^ е - ^ М . |
(2-79) |
||
Когда |
ХІ = —а, |
хг = а, |
вместо |
(2.79) |
получаем |
||
|
|
М |
х ) |
= |
! ^ е - т |
м . |
(2.80) |
Используя соотношение Винера — Хинчина, находим выражение для спектральной плотности мощности процесса x(t):
S |
X ( , ) = § M , , e ^ x |
= ^ l |
i r L _ . . |
(2.81) |
|
—оо |
|
|
|
Марковский процесс с двумя состояниями |
является |
|||
весьма |
распространенным |
видом |
случайного |
процесса, |
и на практике часто возникает необходимость его мо делирования. Устройство для генерирования такого про цесса весьма просто .можно построить, используя два ра диоактивные элемента в качестве источников пуассоновских случайных потоков [21]. Излучение от одного из ра диоактивных элементов воздействует на специальный де тектор (например, счетчик Гейгера), и импульсы . вы хода последного запускают триггер. Возвращение триг гера в исходное состояние осуществляется импульсами от другого детектора, реагирующего на излучение от второго радиоактивного элемента. Таким образом на триггере создается напряжение, являющееся марковским процессом с двумя состояниями.
В частном случае, |
когда a = ß , |
марковский процесс |
||
с двумя состояниями превращается |
в широко известный |
|||
в радиотехнике т е л е г р а ф н ы й сигнал |
(см., например, |
|||
[3,17]), |
характеристики |
которого |
легко |
находятся из |
(2.80), |
(2.81): |
|
|
|
|
^ ( т ^ а ^ - 2 " 1 * 1 |
, |
(2.82) |
62
Следует подчеркнуть, что выражение (2.82) впервые по лучено С Райеом [22] на основе использования частной закономерности, характерной лишь .для телеграфного сигнала. Применение метода (22] к более общему про цессу (когда «т^р) затруднительно.
Импульсные марковские процессы 'могут служить ма тематической моделью хаотических импульсных помех (ХИН), если при задании пуассоновских потоков поло жить \iî(t)>%u(t)- (і=2, 3, ...,N). Для марковского процесса с двумя состояниями это условие сводится •к выполнению неравенства ß^>a.
Трудности в теории синтеза радиоприемных устройств, находящихся под воздействием белого шума и импульс ных помех объясняются, в частности, сложностью суще ствующих математических моделей импульсных помех* Действительно, даже в простейшем случае необходимо задавать порознь распределения трех основных пара метров:, амплитуды, длительности и времени появления импульсов. В марковской модели задаются только интен сивности пауссоновских потоков. В ряде частных, но важных случаев, число задаваемых параметров может быть сведено к 'минимуму. Так, можно положить <Кц=а, Ati="ß для всех і=2, 3, ..., N. Преимущества марковской модели ХИПособенно проявляются в связи с возмож ностью применения теории условных марковских процес сов к задачам оптимального обнаружения и фильтра: ции сигналов [23] (см. также гл. 5).
t
2.6.Разрывные марковские процессы с непрерывным
множеством состояний
Рассмотрим теперь случай, когда разрывный марков ский процесс имеет непрерывное множество состояний. Одна из возможных реализаций такого процесса изобра жена на рис. 2.3. Поскольку множество состояний не счетно (образует континуум), то интенсивности потоков тина lij(t) задать нельзя и, следовательно, нельзя вос пользоваться формой представления вероятностей пере хода в виде (2.32).
Для описания разрывного марковского процесса с не прерывным множеством состояний воспользуемся мето дикой, •использованной при выводе уравнения (2.28), обобщив ее на непрерывный случай. Для каждого со стояния X определим интенсивность пуассоновского по-
63
тока Х(х, t). Вместо |
матрицы |
Q(i) |
относительных ве |
||||||||
роятностей |
перехода |
<7ij(0 |
зададим |
д в у м е р н у ю |
|||||||
п л о т н о с т ь |
Q(x', |
X, t), |
с помощью которой |
вероят |
|||||||
ность перехода |
из состояния х |
на участок |
(х, |
х+Ах) |
|||||||
п р и у с л о в и и , |
ч т о с к а ч о к п р о и с х о д и т , |
выра |
|||||||||
жается ігзесьма просто |
|
|
|
|
|
|
|
||||
|
|
|
|
|
Q(x', |
X, t)Ax. |
|
• |
|
(2.84) |
|
Функция |
Q (х', |
x, t) |
подчиняется |
условию |
нормировки |
||||||
оо |
|
|
|
|
|
|
|
|
|
|
|
J" Q(x', |
X, t)dx |
— 1. |
|
|
|
|
|
|
|
—оо
Аналогично (2.23), (2.24) запишем вероятности от
сутствия и наличия скачка на интервале (t, |
t+At): |
||
Рі,и(°)-Л |
-l(x',t)M, |
(2.85) |
|
Pt,uW~l(x', |
t)At |
(2.86) |
Тогда с учетом (2.84) — (2.86) вероятности перехода раз-
„рьтвного процесса x(t) из состояния х' за время At вы разятся соотношениями
рх,х, |
(t,t |
+ |
At) = l~X |
(х\ t) At, |
(2.87.) |
|||
Px,,x+Ax{t, |
t]+àt) |
= l{x', |
t)AtQ{x', |
x, t)Ax. |
(2.88) |
|||
Обозначим одномерную плотность распределения со |
||||||||
стояний процесса .через |
w(x, |
t). |
Тогда |
w(x', |
t)Ax' |
есть |
||
вероятность того, что процесс x(t) |
в момент |
t находится |
||||||
на участке (х', |
х'+Ах'). |
Вероятность |
того, |
что процесс |
||||
в момент і находится на участке |
(х, х + Ах) |
и за |
время |
|||||
А^ останется там же, равна |
|
|
|
|
|
|||
|
w(x, |
t)Axll—%(x, |
t)Af\. |
|
(2.89) |
Вероятность того, что процесс в момент t находится на участке (х', х'+Ах') и за время At перейдет на участок (х, х+Ах) определяется соотношением
w(x', t)Ax'h{x', t)AtQ{x\ x, t)Ax. (2.90)
Используя (2.89), (2.90), получим выражение для полной вероятности того, что процесс в момент t+At окажется в состоянии х:
w(x, t-\-At)Ax = w(x, t)Ax[\ —1(х, t)At\-\~
+ S w(x\ t)X{x', t)\àtQ(x\ x, t) AxAx'. |
(2.91) |
46
Сократим (2.91) на Ах, перенесем в левую часть равен ства w(x, і) и .разделим обе части уравнения на At. В результате предельного перехода при Д ^ — У О , АХ'—>0 вместо (2.91) имеем
+ J w (л', I) Я (х\ t) Q (х', x, i) dx! |
(2.92) • |
— o p
Интегро-дифференциальное уравнение (2.92) является основным для разрывных процессов с непрерывным мно жеством состояний. Оно называется уравнением Колмо горова (см., например, [24—26J).
В том случае, когда
|
%(X, |
t) =X(x), |
Q{х', |
X, t)=Q{х', |
X), |
|
|
||
процесс |
становится о д н о р о д н ы м |
(вероятности |
пере |
||||||
хода не зависят от времени) и, следовательно, |
|
|
|||||||
dw (х, |
t) |
|
|
ou |
|
|
|
|
|
|
|
t) + j |
|
|
|
|
|
||
dt |
= |
- |
Я (л-) w (х, |
w {x', |
t) Я (JC) Q (*', |
x) |
dx'. |
||
|
|
|
|
— o o |
|
|
|
|
(2.93) |
|
|
|
|
|
|
|
|
|
|
Решение |
уравнений |
(2.92), |
(2.93) |
даже |
при |
À(x)=À |
в общем виде не получено. При необходимости для ре шения следует пользоваться приближенными методами или рассматривать частные случаи.
В качестве примера построим модель импульсных по мех на основе марковского разрывного процесса с не
прерывным 'множеством состояний. |
|
|
|
|||||
Предположим, что х^О, |
и выберем в качестве опор |
|||||||
ного |
нулевой |
уровень х = 0. |
Двумерную |
функцию |
Q{x', |
|||
x, t) |
нужно |
задать |
специальным |
образом, |
отразив то |
|||
обстоятельство, что |
в состояние |
x(t)=£0 |
за |
время |
Al |
процесс может попасть только из состояния х=0 и не из
какого |
другого; вместе с тем из любого состояния |
x(t) |
||
процесс |
может перейти только в состояние |
х = 0. |
Все |
|
другие |
переходы исключены. Подобный характер функ |
|||
ции |
Q(x', x, t) предопределяет к о н е ч н у ю вероятность |
|||
р ( 0, |
t) |
того, что процесс окажется в нулевом |
состоянии. |
|
Для удобства обозначим интенсивность потока, пере |
||||
водящего процесс из нулевого уровня через |
a(t): |
К (О, |
||
t)=a(t), |
сохранив для остальных состояний |
(x(t)^0) |
5—186 |
65 |
прежнее обозначение интенсивностей ,Х(х, t). Тогда для плотности вероятностей w(x, t) (х>0) и вероятности р(0, t) можно записать следующую систему уравнений:
w{x, |
t + Atf) = w {x, |
t) [1 —X (x, t) M] |
+ |
|
|
'+/7(0, t)a(t)AtQ(0, |
x, t), |
(2.94) |
|
p(0, |
t + bt)=p{0, |
i)[\—a(t)<tâ\ + |
|
|
|
+'At$w(x, |
t)X(x, |
t)dx. |
(2.95) |
После обычных преобразований вместо (2.94), (2.95) получаем
dw(x. t) |
~ - |
X (x, t) w (x, t) + |
p (0, t) a (t) Q (0, x, t); |
(2.96) |
dt |
||||
dp(0, |
t) = |
— a{t)p (0, /) + |
j w (x, t) X (x, t) dx. |
(2.97) |
dt |
|
|
|
|
Очевидно, что для всякого t имеет место условие 'нор мировки
|
|
|
p{Q,t)+ |
lw{x,i)dx=\. |
|
|
|
|
(2.98) |
|||
|
Как |
видно, в систему |
(2.96), |
(2.97) |
естественно вхо |
|||||||
дят |
пуассоновское |
распределение моментов |
появления |
|||||||||
ш*(хл |
|
|
|
|
импульсов |
с |
интенсивностью |
|||||
ф |
* |
|
|
|
|
a(t), |
экспоненциальное рас |
|||||
|
|
|
|
|
|
пределение |
|
длительностей |
||||
|
|
|
|
|
|
помеховых импульсов с пара- |
||||||
|
|
|
|
|
|
метром Х(х, t) и распределе |
||||||
|
|
|
|
|
|
ние Q(0, |
x, |
t)=Q(x, |
|
t). Сле |
||
|
|
|
|
|
|
дует подчеркнуть, что в при |
||||||
|
|
|
|
|
|
кладной |
литературе |
иногда |
||||
|
|
|
|
|
|
под |
распределением |
ампли |
||||
|
|
|
|
|
|
туд |
импульсных |
последова |
||||
|
|
|
Рис. |
2.10. |
|
тельностей |
неверно |
понима |
||||
|
|
|
|
|
|
ется |
функция |
Q(x, t)., кото |
||||
рая «а |
самом деле задает у с л о в н о е |
'распределение ве- - |
||||||||||
роятностей |
п о я в л е н и я |
импульсов |
с |
амплитудой х. |
||||||||
Безусловное |
распределение |
амплитуд |
последовательно |
сти неперекрывающихся случайных импульсов характе
ризуется функциями w(x,t) и ô(x) |
с весом р(0, t). |
||||
Если интересоваться |
стационарным случаем, когда |
||||
a{t)-=a;b(x, |
0 = 4 * ) ; |
Q(*. |
Q=Q'(*)i |
||
dw(x,t) |
dp{0, |
t) |
= |
0, |
|
|
di |
dt |
|
|
|
«6 |
|
|
|
|
|
то 'из (2.96), (2.98) можно .получить соотношения
1-1
Эти соотношения полностью определяют финальное распределение w$(x) процесса x(t):
О»Ф(-АГ) = [ |
1 + А J ^ - |
^ J |
- 1 p W + x T ^ - Q W ] - ( 2 - 9 9 ) |
При Я(лс) = |
Я выражение |
(2.99) упрощается |
|
|
Щ (х) : |
X |
•8(jc)- |
Вид финального распределения [показан на рис. 2.10.
3
НЕПРЕРЫВНЫЕ МАРКОВСКИЕ ПРОЦЕССЫ
3.1. |
Вводные замечания |
|
|||
Рассмотрим основные характеристики непрерывных марковских |
|||||
процессов, основываясь |
на общих |
представлениях |
о непрерывных |
||
случайных процессах. |
|
наиболее |
полно |
описывается многомер |
|
Непрерывный процесс |
|||||
ной (n-мерной) плотностью |
вероятности wn(x\, |
х2, |
h; ...; xn, tn), |
которая определяет вероятность того, что значения случайной функ
ции x(t) в моменты времени U, і2 |
f„ заключены соответственно |
|||||
винтер-валах (хі, Xi+Axi), |
(х2, х2+Ах2), |
|
i(xn, xn+Axn). |
При ма |
||
лых AX{ эта вероятность равна wn (xi it; x2, t2\ ...; xn, |
tn)dxi |
... |
dxn. |
|||
Многомерная плотность вероятности |
wn(xi, |
i\\ ...; xn, |
t„) |
дает |
воз |
|
можность' судить о связи |
между значениями случайной |
функции |
||||
в я моментов времени и характеризует случайный процесс тем де |
||||||
тальнее, чем больше число п. |
|
|
|
|
|
|
По правилу умножения вероятностей |
зависимых |
событий |
|
и>п(*ь |
U; |
хп, |
tnldXidXi, ... . dxn |
= |
|
|
= Wn-i(xi, ti\ |
x2, |
t2\ . . . ; |
X n - i , / n - i ) ^ i . . . |
dXn-іУ. |
|
|
Xv„(x„, |
tn\x,, <ti; xn-i, |
tn-i)dxn. |
' |
(3.1) |
||
Величина vn\xu, t n \x u |
t\\ |
...; xn-i, tn-i)dxn |
есть |
условная |
вероят |
|
ность того, что значение случайного процесса в момент tn' |
окажется |
|||||
5* • |
|
- |
|
|
67 |
|
t
в интервале [х„, xn+dx„] |
пр и у с л о в и и , |
что в предыдущие мо |
||||||
менты |
времени |
£і,'г2 , |
tn-i |
процесс |
принимал |
значения |
||
Xh i(fe=l, 2 |
п—1). |
|
|
|
vn(xn, |
tn\xi t\\ |
||
Таким |
образом, |
условная |
вероятность |
|||||
Хг, tr,...; |
Xn-i, |
tn-i)dxn |
зависит от |
в с е й п р е д ы с т о р и и |
процес |
|||
са, начиная с начального момента |
tt п кончая моментом / п - і . Есте |
|||||||
ственно «азвать /момент tn «будущим», момент |
— «настоящим», |
|||||||
а все остальные |
моменты от Л до /п -2 — «прошлыми». Ори этом ве |
|||||||
личина |
ѵп(хп, |
/п |.Ѵі, ti; |
...; -Vn-i, |
tn-i)dxn |
іможет |
рассматриваться |
как 'вероятность перехода.
Рис. 3.1.
Можно предположить, что процесс испытывает «вероятностное последействие» не от всего прошлого, а только^от некоторого чис ла m предыдущих значений. Но процесс x[t)" будет марковским лишь в том случае, когда
vn:(xn, tn\xu ti; л-2, 4; |
хп, tn) |
= |
= v2(xn,tn\xn-udn-l). |
|
(3.2) |
Соотношение (3.2) определяет'M ар к о в к; к о е |
с в о й с т в о яепре-' |
|
рывных процессов. |
|
' •' |
Отметим, что при выборе моментов времени не было сделано ни каких оговорок относительно промежутков между ними, так что их можно выбрать различными. В частности, промежуток времени меж ду «будущим» (4п) и «настоящим» (^п-і) на этом основании может
иметь произвольную протяженность.
68
В силу условия нормировки для |
Каждого |
момента |
времени |
||||
имеет место равенство |
|
|
|
|
|
|
|
00 |
|
|
|
|
|
|
|
j |
v(xn, |
t„ |
I xn.и tn-i) |
dxn |
= 1. |
|
(3.3) |
— o o |
|
|
|
|
|
|
|
(Здесь и далее индекс 2 |
у |
плотности |
вероятности |
перехода |
ѵ опу |
||
щен.) Интуитивно |
ясно, |
что чем дальше от |
«настоящего» |
отстоит |
интересующий пас момент из «будущего», тем неопределеннее |
||||||||||
іщрогаоз, который дает функция |
ѵ(х„, tn\xn~i, |
|
tn-i). |
Это означает, |
||||||
что дисперсия |
-плотности вероятности перехода с ростом |
разности |
||||||||
tn—должна |
кад-то увеличиваться. Отмеченное обстоятельство |
|||||||||
иллюстрируется |
рис. 3.1, где |
изображена |
реализация |
случайного |
||||||
процесса |
x(t), |
начавшаяся в момент t\ из положения х, и |
находя |
|||||||
щаяся в «настоящий» момент tn-i |
в точке |
х„-\. Характер |
плотно |
|||||||
стей вероятности перехода ѵ(хп, |
іп\хп-і, |
tn-i) |
изменяется |
по мере |
||||||
того, как величина t„ принимает значения t'n, |
f'n, t"'n. |
Однако не |
||||||||
следует |
полагать, что тенденция |
к |
«расплыванию» |
сохранится |
||||||
у функции V при значительных |
величинах |
разности tn—t |
п—ь Как |
|||||||
|
|
|
|
|
|
|
|
|
|
станет ясно из дальнейшего, плотность вероятности перехода с ро |
|||||||||||||||
стом |
t»—tn-\ |
стремится в большинстве случаев к своему стационар |
|||||||||||||
ному |
значению. Если |
бы процесс |
x(t) |
не |
был марковским; то на |
||||||||||
характер |
плотности |
вероятности |
перехода |
влияла |
бы |
ф о р м а |
|||||||||
реализации |
x(t) (t<in~{). |
Это означает, что |
у |
н е м а р к о в е к их |
|||||||||||
процессов |
плотность |
ѵ является |
|
ф у н к ц и о н а л о м |
от |
реализа |
|||||||||
ции x(t). |
отметить, |
что соотношения |
(3.2), (3.3) справедливы для |
||||||||||||
Важно |
|||||||||||||||
произвольного |
п, так что можно |
записать |
|
|
|
|
|
|
|||||||
|
|
|
Wi(X,, ІГ, Х2, ti\ ...; |
X;ti) = |
|
|
|
||||||||
|
|
-Wi-\(x\, |
ii\ ...; Xi-,, /,_,)V(Xi, |
<i\xi-,, |
ti-i) |
|
|||||||||
|
|
|
|
(( = 2,3, ... ,/!) . |
|
|
|
|
|
(3.4) |
|||||
Применяя |
последовательно |
к распределению |
wn(x\, |
t,; |
...; .v„, tn) |
||||||||||
соотношение <(3.4), получим, что* |
|
|
|
|
|
|
|
|
|
||||||
|
|
|
wn{xu |
ti; x2, |
t2\ |
...; xn, |
t„) |
= |
|
|
|
|
|||
|
|
|
|
= w\(xu |
t,)v(x2, |
t2\xi,ti)x- |
|
|
|
|
|||||
|
|
v(Xs, ti\Xi, h)X |
|
... |
Xv,(xn, |
tn\xn-u |
|
tn-i). |
|
(3.5) |
|||||
|
Таким |
образом, |
марковский |
|
процесс |
полностью |
определяется |
||||||||
одномерной плотностью распределения W[(xu |
і}) |
и плотностями ве |
|||||||||||||
роятности |
перехода |
ѵ(хі, |
ti\Xi-i, |
ti-i), |
(i=2, |
3,..., |
n). |
Для не |
марковских процессов представление многомерной плотности вероят
ности в виде |
(3.5) |
невозможно. |
|
|
|
В том случае, когда плотность вероятности перехода зависит от |
|||||
разности ('/,-—/,--і) |
и не зависит от конкретных значений U, ti-\, т. е. |
||||
|
v(Xi, |
t{\Xi-u |
ti-i)=v(Xi, |
ti—ti-x\Xi-i), |
(3.6) |
-непрерывный |
марковский |
процесс, |
называется |
о д « о р о д и ы м. |
|
Как и прежде, однородность процесса |
не означает |
его стационарпо- |
69