книги из ГПНТБ / Казаков В.А. Введение в теорию марковских процессов и некоторые радиотехнические задачи
.pdfсти. Действительно, двумерная плотность однородного процесса определяется равенством
|
ад2(лгі-і, ^'-ь хи |
U) = |
|
|
|
= |
ш,(*,•_,, |
tt-i)v(xi, ti—tt-i\Xi-i), |
(3.7) |
||
а которое входит |
зависящая от времени одномерная плотность |
||||
Wi(xt-i, ti-[). Марковский |
процесс становится |
стационарным |
лишь |
||
тогда, когда ШІ(ЛГ,-_І, Л - і) |
=wl(xi-]). |
равно как марковские |
цепи |
||
Непрерывные |
марковские процессы, |
||||
и марковские разрывные процессы, подчиняются фундаментальному соотношению Колмогорова—Чепмена. Для непрерывных процессов оно впервые было получено польским физиком М. Смолуховским, и іпоэтому интегральный' вид соотношения Колмогорова — Чепме на чаще всего называют уравнением Смолуховского. К уравнению Смолуховского можно прийти в результате рассуждений, аналогич ных тем, которые проводились в § 1.3.
Рассмотрим три последовательных момента времени |
t0, |
т |
и t |
|||||||||||
(to<"t<t). Пусть в момент |
to процесс |
имел значение х0. |
Тогда |
ве |
||||||||||
роятности перехода из точки х0 |
на интервал |
(у, |
y + dy) |
в момент т |
||||||||||
и -на интервал (х, x+dx) |
в момент t запишутся в виде ѣ(у, |
х\ха, |
h)dy, |
|||||||||||
и(х, t\xo, t0)dx. Аналогично v(x, t\y, x)dx—вероятность |
перехода m |
|||||||||||||
точки у (в момент т) |
на интервал |
(х, |
x+dx) |
в момент |
і. Полная |
|||||||||
вероятность |
перехода |
из состояния |
(хо, >t0) на |
участок |
(х, |
x+dx) |
||||||||
в момент t |
v(x, t'\x0, to)dx получается иштепргарова.ниемпроизведения |
|||||||||||||
вероятностей ѵ(х, |
t\y, |
i)dx-v(y, |
т|хо, t'o) dy |
по |
всем |
промежуточ |
||||||||
ным значениям у: |
|
|
со |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
и (х, t |
I х 0 , t0) |
dx |
— J |
V (х, t |
I y, |
t) dxv (y, |
t | x0 , |
t0) |
dy. |
|
|
|||
|
|
|
|
— 0 0 |
|
|
|
|
|
|
|
|
|
|
Отсюда следует |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
оо |
|
|
|
|
|
|
|
|
|
|
o(x, |
/ I Хо, /„) = |
^ |
v(x, |
t I y, |
t) V (y, t l x0 , t0) |
dy. |
(3.8) |
|||||||
|
|
|
|
— 0 0 |
|
|
|
|
|
|
|
|
|
|
Соотношение (3.8) есть уравнение Смолуховского. Оно наклады вает существенное ограничение на вид плотностей вероятности пе рехода ѵ: интегрирование по dy произведения двух функций ѵ должно, во-первых, исключать зависимость результата интегрирова ния от промежуточного момента т и, во-вторых, привести к той же самой функции ѵ.
3.2.Броуновское движение
Впредыдущих главах было показано, что каждый из рассмотренных видов марковских процессов описывается вполне определенными уравнениями. Так, марковские
цепи характеризуются системой а л г е б р а и ч е с к и х уравнений, разрывные марковские процессы со счетным числом состояний — системой д и ф ф е р е н ц и а л ь н ы х уравнений, а разрывные процессы с непрерывным мно жеством состояний подчиняются и н т е г р о - д и ф ф е - 70
р е н ц и а л ь н о м у уравнению. Для непрерывных мар ковских 'процессов также существуют уравнения, кото рые позволяют определить плотности распределения ве роятностей. Однако прежде чем переходить к их выводу, рассмотрим одну частную задачу о движении броуиов^ ской частицы р—3].
Как известно, броуновское движение совершают ма лые частицы, 'подвергающиеся большому числу ударов
И
At
О |
t |
|
Рис. 3.2.
со стороны молекул. Каждый удар 'Незначителен по воз действию, но наложение множества малых ударов вызы
вает заметное перемещение |
частицы. К процессу броу |
||||
новского |
движения |
можно |
прийти путем |
предельного |
|
перехода |
от с л у ч а й н о г о |
б л у ж д а н и я |
(см. примеры |
||
гл. 1), особенностью |
которого является м а л о е |
переме |
|||
щение ва |
один шаг. JB пределе такое движение |
будет |
|||
казаться |
непрерывным. |
|
|
|
|
Предположим, что частица совершает случайное блуждание с шагом по времени At и шагом по коорди нате іАх (рис. 3.2).
В отличие от примеров гл. 1, рассмотрим неограни ченное случайное блуждание. Положим, что за каждый
шаг |
частица может изменить свое состояние только на |
dzАх. |
Причем переход вверх (+Ах) осуществляется с ве- |
71
роятностыо р, а переход вниз (—Ах) — с вероятностью
<?=1— р.
Такой характер движения (за малое время At части ца обязательно перемещается, «о на малое расстояние ±Ах) после предельного перехода (At—Ю, Ах—Ю) дает непрерывный случайный процесс. Для сопоставления вспомним, что разрывные процессы характеризовались тем, что за время At вероятность скачка была значитель но меньше вероятности его отсутствия; если же окачо'к происходил, то состояние изменялось, и как правило, на
значительную величину. |
|
|
|
|
|
|
|
||||
Пусть |
в начальный |
момент t = 0 частица |
находилась |
||||||||
в состоянии |
х = 0. Через N. шагов |
в |
момент |
t — NAt |
она |
||||||
окажется |
в точке с координатой х = тАх. |
|
Обозначим |
ве |
|||||||
роятность |
перехода из |
точки |
(/ = 0, |
л:=0) |
в |
точку |
(t = |
||||
— NAt, х=тАх) |
через |
Р(тАх, |
NAt\0, |
0). В соответствии |
|||||||
с изложенными |
выше |
правилами |
блуждания, частица |
||||||||
может попасть |
в точку |
(тАх, |
NAt) |
|
из |
состояний |
(х = |
||||
= (т—1)Дх |
и х= (т+\)Ах, |
в которых |
она |
может |
ока- . |
||||||
заться в предыдущий момент |
t= (N.— l)At. |
В каждое из |
|||||||||
этих предыдущих состояний частица попадает из началь ной точки с вероятностями
|
Р[(т—1)Ах, |
(N— 1)Д*|0, 0] н |
|
|
|||||
|
Р{(т+\)Ах, |
(N— 1)А*|0, |
0]. |
|
|
||||
В соответствии с формулой полной |
вероятности |
||||||||
имеем |
|
|
|
|
|
|
|
|
|
Р[тАх, |
№М|0, 0 ] = р Я [ ( т — \)Ах, |
(N— 1)Д*|0, |
0] + |
||||||
|
+ qP[(m+\)Ax, |
(N—\)At\0, |
0]. |
|
(3.9) |
||||
В силу 'малости Ах вероятности перехода в уравне |
|||||||||
нии (3.9) |
можно записать через |
плотность |
вероятности |
||||||
перехода таким |
образом: |
|
|
|
|
|
|
||
|
|
Р[тАх, |
/Ш|'0, |
0 ] = |
|
|
|
||
|
= |
v(x, |
t\0, |
0)ДЛ;=О(Л:, |
|
t)Ax. |
|
|
|
Тогда вместо (3.9) получаем |
|
|
|
|
|
||||
ѵ(х, |
t)=pv(x—Ax, |
t—At)+qv(x |
+ Ax, t—At). |
(3.10) |
|||||
Разложим функцию и в правой части (3.10) в ряд Тей- • лора в окрестности точки (х, t). Опуская для краткости
72
аргументы у функции ѵ, получаем |
|
|
|
|||
|
|
ѵ = ѵ - (р - q) |
Ах - (p-j-ç) |
М + |
|
|
|
+ 4 - ( A # ( p 4 - ^ ) g + 4 - (р+ 9 ) 5 ( Д 0 2 |
+ |
|
|||
|
|
+ ( р - 9 ) | а д ^ + - |
|
|
( З Л І ) |
|
С |
учетом того, что p + q=\, соотношение |
(3.11) |
при |
|||
нимает вид |
|
|
|
|
||
. |
; |
+ ф £ + & . - , ) й ^ > + ~ |
|
<3'12> |
||
Разделим |
(3.12) на Д^, устремим величины |
At, Ах |
к ну |
|||
лю и предположим существование следующих преде лов:
lim {£=Щ** = |
Кі; |
(3.13) |
Ддя-О |
|
|
lim ^ - = |
/С,. |
(3.14) |
Д*->-0 |
|
|
Из (3.13), (3.14), в частности, |
следует, |
что At и Ах |
стремятся к нулю по-разному, причем Ах « (Д^)1 '2 и, сле довательно, (р — q) ?» (Д^)1 / 2 .
При переходе к пределу два последних члена (3.12) обращаются в нуль и для плотности вероятности пере хода V получаем следующее уравнение:
Tt |
A l ^ F " T " 2 • о*»' |
( c U Ö ' |
Это дифференциальное уравнение второго порядка в ча стных производных параболического типа. Для его реше ния необходимо задать начальные и граничные условия. По условию задачи блуждание частицы начинается из нулевой точ,ки (х=0, *=0), поэтому начальное условие имеет вид
v{x, t = 0)=6(x). |
' (3.16) |
Поскольку блуждание частицы |
рассматривается |
в б е с к о н е ч н ы х пределах, то в качестве граничных условий принимается исчезновение функции ѵ на беско нечности.
73
Задача, состоящая в нахождении решения дифферен циального уравнения в частных производных іпри ука занных условиях носит название з а д а ч и К о ш и, а само решение называется ф у н д а м е н т а л ь н ы м . Решение уравнения (3.15) при сформулированных выше условиях записывается в виде [4]:
|
в ( ^ ) |
= |
7 Щ а р |
[ - ^ ] ' |
{ З Л 7 ) |
|
|
Как видно, плотность |
вероятности перехода |
имеет |
|||
вид |
нормального |
закона |
с математическим ожиданием |
|||
Kit |
и дисперсией |
Kit. |
С течением |
времени дисперсия за |
||
кона увеличивается, причем математическое ожидание распределения с ростом і также претерпевает измене-' ние: равномерно смещается в ту или иную сторону в за висимости от знака коэффициента К\.
Уравнение (3.15) описывает не только вероятностные характеристики движения броуновской частицы, но и ха рактеризует процессы теплопроводности и диффузии. По
этой причине |
оно |
часто называется д и ф ф у з и о н н ы м. |
|||||||
Для |
ненулевых |
начальных |
условий |
хо и |
/0 |
вместо |
|||
(3.17) можно получить |
|
|
|
|
|
|
|||
|
|
|
v(x,t\x0,t0) |
|
= |
|
|
|
|
= |
, |
1 |
e x p i - |
[ |
* - * Ѵ ~ ^ ( Ѵ ; М 1 2 |
). (3.18) |
|||
В том частном |
случае, когда |
Кі>=0, плотность |
вероят- |
||||||
ности перехода удовлетворяет |
уравнению |
|
|
|
|||||
|
|
|
дѵ _ |
Кг |
|
д2ѵ |
|
|
(3.19)' |
|
|
|
~ді |
2 |
|
дх? ' |
|
|
|
|
|
|
|
|
|
|
|||
которое |
имеет решение |
|
|
|
|
|
|
||
° ^ ' і * > ц - у м . ; _ , " л |
|
« p [ - f e ^ r ] - |
<з -2 °> |
||||||
Если |
подставить (3.20) в соотношение |
(3.8) |
и произ |
||||||
вести соответствующие преобразования, то можно убе диться в.том, что функция v(x, t\xQ, to) удовлетворяет уравнению Смолуховского.
До сих пор рассматривалась лишь плотность вероят ности перехода броуновского движения, однако эта ха рактеристика для процесса x(t) не является исчерпы вающей, и не меньший интерес представляет определе-
74
ние одномерной плотности распределения 'вероятностей
Wi (x, і).
Начальные условия для случайного блуждания в общем случае могут быть заданы начальным распре
делением |
WI(XQ, |
t0). |
|
Учитывая, |
что w2(xo, |
U\ x, |
t)— |
|||||||
= Wi(x0, |
t0)v(x, |
t\x0, |
to), |
одномерную функцию W[(x, |
t) |
= |
||||||||
= w(x, i) находим из выражения |
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
оо |
|
|
|
|
|
|
|
|
|
|
|
w(x,t) |
= |
^w(xa,t0)v(x,t\x0,t0)dx0. |
|
|
(3.21) |
||||||
|
|
|
|
|
— 0 0 |
|
|
|
|
|
|
|
||
|
Умножая |
(3.15) на w(x0, |
to) и интегрируя по х 0 , |
с уче |
||||||||||
том (3.21) |
приходим |
|
к выводу |
о том, что одномерная |
||||||||||
плотность |
вероятности |
w (х, і ) |
подчиняется |
тому |
же |
|||||||||
уравнению, |
что и плотность |
вероятности |
перехода |
|
||||||||||
|
|
dw{x,i)_ |
ѵ |
|
âi» (x, /) i |
J(2 |
d*w(x, t) |
/о |
oo\ |
|||||
|
|
1 |
dt |
—~ A |
' |
~д~х |
~^~2 |
. dx* |
• |
(à-ZA> |
|
|||
Уравнение |
(3.22) |
решается при начальном |
условии W(XQ, |
|||||||||||
to). |
В частности, если |
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
w{xo, |
to) =&{х—Хо), |
|
(3.23) |
||||||
то |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
w(x, |
|
i)=v{x, |
t\xo, |
to). |
|
(3.24) |
|||
В |
последнем |
.случае |
при Кі=0 |
решением |
уравнения |
|||||||||
(3.22) |
является известная функция |
|
|
|
|
|
||||||||
|
|
w (x, і) = -у= |
1 |
|
exp ( - |
~ Х о ) Д 1, (3.25) |
||||||||
которая не имеет стационарного |
распределения. |
|
|
|||||||||||
|
Если движение |
броуновской |
частицы |
происходит |
||||||||||
между отражающими экранами, расположенными на рас
стоянии |
d. друг от друга, то плотность |
вероятности |
Wi{x, А) |
имеет предельную стационарную форму |
|
|
Ümw(x,t) = w{x) = ]./d, |
(3.26) |
|
f-voo |
|
не зависящую от начального состояния.
75
Для поглощающих экранов предельное распределе ние зависит от XQ и имеет .вид суммы двух дельта-функ ций
lim ш (x, t) = w (x) = (l - - |
a (x) + - J L 8 (je - d), |
(3.27)
y//////////////////////////////,
5
3
Рис. 3.3.
Рис. 3.4.
поскольку в конце концов все -реализации окажутся по глощенными.
Результаты (3.26) и (3.27) имеют ясный физический смысл и иллюстрируются рис. 3.3, 3.4.
3.3: Уравнения Колмогорова для непрерывных
марковских процессов
Уравнение -(3.1|) для плотности вероятности перехо да непрерывного марковского процесса выведено при ре шении хотя и частной, но имеющей ясный физический смысл задачи. Более общие уравнения для плотностей
76
вероятности перехода непрерывных марковских процес сов были получены А. Н. Колмогоровым [5] на основе использования соотношения Смолуховского (3.8). Вывод
уравнений |
Колмогорова, |
близкий к |
оригинальному |
- имеется в |
работах |2, 3, 6, |
7]. Получим |
п е р в о е уравне |
ние Колмогорова, несколько упростив рассуждения [5]. Поскольку в уравнении Смолуховского выбор проме
жуточного |
момента т произволен, то можно положить |
||
x—t0+At0(àto |
мало). Тогда (3.8) запишется в виде |
||
|
|
v(x,t\x„t9) |
= |
= |
Jv{x,t\ |
у, t0 + д у |
о (у, t0 + Д^01 х0. У dy. (3.28) |
—оо
Предполагая плотность и но крайней мере трижды дифференцируемой, а ее производные ограниченными, разложим функцию v(x, t\y, U+Aio) в ряд Тейлора по у в окрестности точки у=ха:
|
v(x,t\ |
|
у, t0 -J- |
Д*0) = |
V (x, 11 xt, |
t0 |
+ |
At0) |
-j- |
|
|||||
t |
dv(x,t\x0, |
t0 |
+ àt0) |
, |
- |
|
. |
, |
1 |
д2ѵ |
(x, |
t {xt, |
tp + |
At0) ч . |
|
~1 |
Wo |
|
[ У |
X°> + |
~2 |
|
|
|
^ 2 |
|
A |
||||
|
X(y-xor |
|
+ ^ |
^ |
^ |
l |
é |
^ |
^ ( |
y |
~ |
x |
o y |
. |
(3.29) |
Здесь последнее слагаемое есть остаточный член ряда, определяемый, как известно, через промежуточную точ ку І ( * > < £ < я ) .
Подставив |
(3.29) ві(3.28), |
получим |
|
|||
|
v[x,t\х0, |
ta) = v(x, |
11х0, t0 -f- Д*0) X |
|||
X |
Jo (У, t0 + |
At01 x.. t0) dy + д и ( |
Х ' 1 1 |
+ М о ) X |
||
|
—оо |
|
|
|
|
|
|
|
OS |
|
|
|
|
|
X |
fo |
— xe)o(y,ta |
+ |
At0\xa,ta)dy+ |
|
|
—оо |
|
|
|
|
|
|
|
|
|
оо |
|
|
|
|
|
|
—со |
|
|
|
|
|
|
|
|
оо |
+ |
àt.\x..t.)dy |
|
+ ± |
+ |
|
\(y-xafX 77 |
|
|
|
|
|
|
|
—со
Xv(y,ia |
+ Ata\xa,t0)dy> |
(3.30) |
Перенося первое слагаемое правой части в левую,
учитывая |
(3.3) и деля обе части |
уравнения |
(3.30) на |
|||||||
Ato, получаем |
|
I Х0, і*0) — у {х, t1 х0, |
|
|
|
|
||||
|
V (X, t |
t0 + At0) |
|
|
||||||
|
dv{x,t\xa,t0 |
+ |
àta) |
J 1 |
со |
|
|
|
||
|
|
|
|
|
||||||
|
|
|
дх0 |
|
|
I àta |
J ( J / - * . ) X |
|||
X V(у, t, + |
A*,I |
tt)dy} |
|
|
|
+ |
X |
|||
|
|
— o o |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
— o o |
|
|
|
|
|
|
|
+ A f 0 | * 0 , f 0 ) ^ j . |
|
|
(3.31) |
||||
Устремим |
.M) к нулю |
и предположим, что существуют |
||||||||
конечные пределы |
|
|
|
|
|
|
|
|
||
|
|
|
|
00 |
|
|
|
|
|
|
Кх (•*•. to) =lim |
дг |
[(У - хо) V (У. *о + |
М0 \х0, g dy; |
|||||||
|
|
|
|
|
|
|
|
|
|
(3.32) |
|
|
|
|
00 |
|
|
|
|
|
|
K2(x0Ju) |
= Um -jf- |
Ç( £ / - x 0 ) 2 u(y,* 0 + |
àt0\xa,tQ)dy. |
|||||||
|
|
|
— o o |
|
|
|
|
|
|
|
Кроме того, потребуем, чтобы |
|
|
|
|
(3.33) |
|||||
|
|
|
|
|
||||||
|
1 |
[(y-xtyvQ/.t9 |
|
+ àt,\xt.tt)dy |
= |
0. (3.34) |
||||
l i m - i - |
|
|||||||||
im |
- |
|
|
|
|
|
|
|
|
|
С учетом |
(3.32) — (3.34)- |
из |
(3.31) |
получаем |
п е р в о е |
|||||
уравнение |
Колмогорова |
|
|
|
|
|
|
|||
|
dv(x,t\x0, |
t„) _ к |
t„ |
t \ dv.(x,t\xa,t0) |
|
|_ |
||||
|
|
dt, |
|
—А>^°' |
l°) |
дх~0 |
"т" |
|||
|
|
|
К2 (x0,t0) |
д2ѵ |
(x,t\x0,t0) |
|
|
|
||
|
|
|
|
|
|
к? |
- |
• |
|
(3.35) |
|
|
|
|
|
|
о |
|
|
|
|
78
Как видно, дифференцирование в уравнении |
(3.35) |
||||
ведется |
по- «прошлому» |
времени U и поэтому |
оно назы |
||
вается |
о б р а т н ы м , или о б р а щ е н н ы м |
в |
п р о ш л о е |
||
[ср. с (2.39)]. |
|
|
|
|
|
Уясним физическое содержание соотношений |
(3.32) — |
||||
(3.34), .предварительно |
записав их более |
компактно |
|||
|
М * . Л ) = і і т - д г < 0 - • * . > ; |
|
|
( 3 - 3 6 ) |
|
|
К2(хв, t0) = |
дг0-+о ш » |
|
|
|
|
lim -±-<(у-хоу>; |
|
|
(3.37) |
|
|
l i m ^ < № - . * 0 | 3 > = 0 . |
|
|
(3.38) |
|
Здесь уголковые скобки означают статистическое усред
нение по |
у с л о в н о й |
плотности |
вероятности |
v(y, t0+' |
||
+A'to\x0l |
t0). |
|
|
среднее |
перемеще |
|
Поскольку <.y—Xo~>—условное |
||||||
ния за время |
Діо из фиксированной точки Хо, то величина |
|||||
Кі{Хй, і0) |
есть средняя |
скорость- |
изменения |
ординаты |
||
функции |
в момент в |
точке хй- Величина |
<(у—х0)2> |
|||
— дисперсия |
ординаты |
у за время AtQ |
относительно |
|||
той же фиксированной |
точки хо. В связи |
с этим величи |
||||
на Кг{хо, to) означает скорость изменения условной дис
персии ординаты |
функции в точке |
(х0, t0). |
Введенные |
||
величины имеют |
специальные названия: |
Ki(x0, t0) — |
|||
к о э ф ф и ц и е н т |
с н о с а , |
К,2.{х0, |
tD)—коэффициент |
||
д и ф ф у з и и . |
|
|
|
|
x(t) |
Условие (3.38) |
позволяет рассматривать процесс |
||||
именно как н е п р ер ы в и ы й, так как оно требует, |
что |
||||
бы вероятность больших |
отклонений |
| г/—ЛГ0 |
1, к которым |
||
могут привести резкие изменения функции, убывала при
Д^о—Ю настолько |
быстро, чтобы 'момент |
третьего по |
||||
рядка <\у—Хо|3> |
стремился |
к нулю быстрее, чем Ato. |
||||
Фактически при малых AU условие |
(3.38) |
эквивалентно |
||||
неравенству |
<\у—х0|3Х<(у—Хо)2>, |
|
|
|
(3.39) |
|
|
|
|
|
|||
которое выполняется лишь при малых |
вероятностях |
|||||
больших отклонений \у—*о|. |
Очевидно, если |
справедли |
||||
во (3.39), то все моменты высших порядков |
< |
\у—Хо\п> |
||||
( п ^ З ) также |
будут удовлетворять |
этому |
неравенству. |
|||
В таком случае выражения вида |
|
|
|
|||
|
|
оо |
|
|
|
|
1 І Ш |
дг |
[\У-xAnv(.y^* |
+ |
bQxvQdy> |
' |
|
79