Добавил:

ivanov666 Опубликованный материал нарушает ваши авторские права? Сообщите нам.

Вуз:

Башкирский Государственный Аграрный Университет

Предмет:

[НЕСОРТИРОВАННОЕ]

Файл:

книги из ГПНТБ / Острем К.Ю. Введение в стохастическую теорию управления

.pdf

Скачиваний:

Добавлен:

24.10.2023

Размер:

10.97 Mб

Скачать

☆

<<< < Предыдущая 1 2 3 4 5 6 7 89 / 339 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 > Следующая >>>

80				Глава 3
r0=YimEx2(t),		то процесс		{x(t),	i 0 ^ i < o o }	стационарен. Вы-
числить	спектральную		плотность		и ковариационную		функцию
для стационарного случая.
4. Стационарный случайный процесс описывается							стохасти
ческим дифференциальным				уравнением
			dx = Axdt + dv,				(6.15)
где характеристический			многочлен матрицы А
		det [Я/ — А) = Г +			а^"""1 ^	V ап
имеет нули только в левой полуплоскости, a						{v(t), t еТ} —вине
ровский	процесс с приращением				ковариации .Rid;'.		Показать,

что ковариационная функция произвольной линейной комбина

ции	переменных	состояния			уравнения		(6.15)	удовлетворяет
дифференциальному			уравнению
	d n r		dn-ir
	dtn	h ах			г а„ г = 0> t > 0.
		1dt"-1				"
5. Рассмотрим		стохастическое				дифференциальное			уравнение
			dx = Axdt			-J- bdv,
где	А — постоянная		матрица		порядка		n X t t ,	Ъ — постоянный
«-мерный вектор		и	{v(t),	teT}—		винеровский процесс с единич
ным параметром		дисперсии. Предположим, что						действительные
части всех собственных				значений А отрицательны.					Показать,
что в установившемся состоянии ковариация х равна
			Я =		^z(t)zT(t)dt,
				о

где г—решение дифференциального уравнения

^= Az

сначальным условием z(0) =b.

6.Рассмотрим стационарный случайный процесс

\dx -- Axdt + bdv,

	\	У = * i ,
где A — постоянная	матрица порядка nX n >		b — постоянный
n-мерный вектор и	{v(t),	teT}—винеровский	процесс	с еди
ничным параметром	дисперсии. Показать, что для оценки			кова
риационной функции	ry(t)	можно применить	следующий	метод

с использованием аналоговой машины.

	Стохастические модели			состояния		81
Интегрируем дифференциальное уравнение
		dt
с начальным	условием z(0)—b		и вычисляем компоненты век
тора г по формуле
	rl =	"jzl(t)z[(f)dt,	i=	1,2,..., п.
	и
Тогда ковариационная функция ry(t)				определяется		из следую
щих соотношений:
		^dt = Az,
		z ( 0 ) = « ,
		^ (0 = ^(0-
7. Показать, что задача определения					ковариационной матри
цы состояния	(6.1) двойственна		задаче		вычисления	квадратич
ной функции	потерь
		со
		V = (V(f)
динамической	системы
d±		dt	=	ATx
		dt

сначальным условием х ( 0 ) = 6 .

8.Движение свободной частицы в жидкости описывается уравнением Ланжевена

m£+fv

= K(f),

где m — масса частицы, / — коэффициент вязкого трения и К — флюктуационная сила, обусловленная столкновениями с молеку лами жидкости. Сила К имеет нулевое среднее и ковариацион ную функцию, которая быстро по сравнению с m/f стремится к нулю. Таким образом, силу К. можно рассматривать как белый шум. Из закона о равномерном распределении энергии по сте пеням свободы в статистической механике следует, что

	— тЕ (и2) -		— kT,
	2	w	2
где k—постоянная	Больцмана и Т — температура окружающей
среды.

0—403

82 Глава 3

Допустив, что в начальный момент частица находится в со стоянии покоя, определить распределение вероятностей скорости как функцию времени.

9. Получить результат, соответствующий теореме 6.1, когда

решение стохастического	дифференциального			уравнения	(6.1)
определяется выражением	(6.2),	в котором	интеграл имеет		вид
t		t
j " Ф (*; s) dv (s) = v{t) — Ф (t; g		v (t0) - j l j	-	Ф (t- \v(s) ds.
		as
U		U

7. НЕЛИНЕЙНЫЕ СТОХАСТИЧЕСКИЕ ДИФФЕРЕНЦИАЛЬНЫЕ УРАВНЕНИЯ

Рассмотрим стохастическое нелинейное	дифференциальное
уравнение
dx = f(x,t)dt+a(x,t)dw,	(7.1)

где {w(t), teT} —винеровский процесс с ковариацией прираще ний Idt. Формально выражение (7.1) означает, что х является решением стохастического интегрального уравнения

и	t
х (t) = х (t0) + f / (x (s), s) ds+	\o (x (s), s) dw (s).	(7.2)
U	i.

Для интерпретации вырал<ения (7.2) мы должны определить интегралы в его правой части. Как показано в разд. 5, их опре деление возможно несколькими способами. Например, можно использовать интегралы Ито, интегралы Стратоновича или интеграл 1Х, определенный формулой (5.15). Отметим, что не зависимо от того, какое определение интеграла используется, интегралы в выражении (7.2) нельзя рассматривать как обыч ные интегралы Стильтьеса от выборочной функции, так как почти все выборочные функции винеровского процесса имеют неограниченную вариацию.

Независимо от того, какое определение интеграла использу ется, необходимо выяснить, когда уравнение (7.2) имеет едиственное решение. Ответ на этот вопрос можно получить с по мощью обычного метода последовательных приближений. Рас смотрим последовательность случайных процессов

		t	/ (x» (s), s)ds+	t	(x* (s), s) dw(s),
xn+l	(t) =	x" (/„) + J	/ (x» (s), s)ds+	f a	(x* (s), s) dw(s),	(7.3)
где x°(t)	=x(t0)	для всех	t.	что	если функции	f и а
В скалярном случае Ито показал,				что	если функции	f и а
удовлетворяют		условиям

Стохастические

модели

состояния

\f(x, 0 1 < / С [ 1 + * Ч ,

0 < а ( л ' , 0 < ^ [ 1

+х2},

\f(x,t)-f(y,t)\<K\x-y\,

\a(x,t)

—

G(y,t)\<.K\x—y\,

то существует

случайный

процесс

{x(t),

teT),

выборочные

функции которого непрерывны с вероятностью

1. Процесс

{x(t),

teT}

также удовлетворяет

уравнению

(7.2)

вероятностью 1.

Многомерный случай рассмотрен в работе

[15].

Решение уравнения

(7.2)

будет, конечно, зависеть

от исполь

зуемого определения стохастического

интеграла. Заметим,

что

если использовать интеграл Ито, то

(t) = Ex

(t0) +

/ (x (s),

s) ds,

что вытекает из

свойства

(5.17)

интеграла

Ито. Если

уравнение

(7.2)

определено, то, используя интеграл Ито, получим

Е [х (i + h) — x{t)\x

(/)]

= f(x,f)h

o (ft).

(7.4;

Если же использовать

интеграл

/ х ,

заданный

уравнением (5.15),

то получим

E[x(t

+ ti) — x(t)\x

(t)]

= [f (х, t) +

fojx

(x, t) a (x, t)]h +

o (h).

(7.5)

Во всех случаях ковариация приращений равна

cov [X(t +

h) — x (t)

I x (t)} =

a(x,

t) oT(x,

f)h+o

(k).

(7.6)

При эвристическом подходе к стохастической модели состояния f(x, t)h введено как среднее значение приращения x(t-\-h) — —x(t). Для сохранения этого интуитивного свойства модели со стояния стохастический интеграл необходимо определить как

интеграл Ито.
	При	анализе	стохастических дифференциальных	уравнений
в разд.		6 установлено, что условные вероятностные распределе
ния	будущего состояния x(t) при данном начальном			состоянии
x(t0)	являются		гауссовыми. Дифференциальные уравнения для

среднего значения и ковариационной функции приведены в тео реме 6.1. Для нелинейных систем соответствующие условные распределения не являются нормальными. Однако для условных распределений можно вывести дифференциальное уравнение в частных производных.

Рассмотрим случайный процесс, описываемый уравнением

(7.1). Обозначим через р(х,		t\ xQ, t0) плотность	вероятности	со
стояния	х в момент t при условии, что в момент		процесс	на
ходится	в состоянии х0. При	соответствующих	условиях глад-

Глава 3

кости можно доказать, что р удовлетворяет следующему диф ференциальному уравнению в частных производных параболи ческого типа:

с начальным		условием
		Р (х, t; х0, t0) = б (х — х0 ).								(7.8)
Это	уравнение известно				как	уравнение		Фоккера		— Планка,
или прямое		уравнение		Колмогорова.			Оператор		X	называется
прямым	оператором		Колмогорова,			а	оператор,		ему	сопряжен
ный,
		^—I		dxi	2	^ - i		d.v. За-/
		i = l				« ' . / . * = l
называется обратным			оператором			Колмогорова.
Упражнения
1. Задано дифференциальное						уравнение
					&Хл	е,
					—1 =	е,
с нулевым начальным				условием.		Пусть		{e(t),		teT}—стацио

нарный случайный процесс с нулевым средним и ковариацион

ной функцией г(т). Оценить среднее значение х2.					Вычислить
предел среднего значения,		когда		г(т) стремится к	распределе
нию Дирака.
2. Решение	стохастического			дифференциального	уравнения
		dxx	=	dw,
		dx2	=	xxdw,
где {w(t), teT}	— винеровский процесс с нулевыми				начальными
условиями, имеет вид		(/) =		w (ft,
	X l	(/) =		w (ft,

x-2(ft. = j " ш (s) dau (s).

Вычислить среднее значение х2, если стохастический интеграл определяется как 1К. Рассмотреть, в частности, случаи К—0,Ъ и Я = 1 .

Стохастические

Модели

состояния

3. Задано стохастическое разностное уравнение

Ахг

(t) =

(t),

Ах2

it) =

хг

(t) Aw (t).

Вычислить средние значения Х \ и х2

при

Af(t)

= f{t

h)-f{h),

Af[l)

f(t)-f(i-h),

Л / ( 0 = у

\f(t +

h)-f{t-h)\.

4. Пусть {e(t)t

teT}—стационарный

случайный

процесс с

ковариационной

функцией г(х)

х1

(t +

К) = X l

(/) +

(/),

Xo (t +

/г) = х2

(/) +

Ajti

в(/),

1 = 0, h,

2h,...,

— разностные уравнения

с нулевыми

начальными

условиями.

Оценить X\(Nh)

и x2(Nh)

и их средние значения. Вычислить пре

дел Ex2(Nh)

при /г-ч>-0, если Nh — const, а также

предел

Ex2(Nh),

когда

К (0),

v = (х,

r(vft-* p,ft)-> <

при Л->-0.

V ^ L l ,

8. СТОХАСТИЧЕСКОЕ ИСЧИСЛЕНИЕ. ПРАВИЛО ДИФФЕРЕНЦИРОВАНИЯ ИТО

Как показано в предыдущем разделе, стохастические интег ралы и стохастические дифференциальные уравнения не под чиняются правилам обычного исчисления. Основная причина этого заключается в том, что_приращение винеровского процес са dw имеет размерность \Z~dt в среднеквадратической метрике. Это означает, что, когда вычислены дифференциалы процессов, являющихся функциями винеровского процесса, необходимо учесть все члены, квадратичные по dw, так как они имеют раз мерность dt. Учитывая это, можно развить стохастическое ис числение на основе следующей теоремы Ито.

Теорема 8.1 (правило дифференцирования Ито). Пусть х —

«-мерный вектор, который удовлетворяет стохастическому диф ференциальному уравнению

			dx = f{x,i)dt	+ a(x,t)dw,	(8.1)
где	{w(t),	teT}—винеровский		процесс с ковариацией	прира
щений Idt.		Пусть	функция y{x,t)	непрерывно дифференцируема
no	t и дважды		непрерывно дифференцируема по х.		Тогда у

Глава 3

удовлетворяет следующему стохастическому дифференциаль ному уравнению:

J	Ы	Lbdxi	2	Z j	дхсдх,-	, k ! k
		i'=l		i,/,ft=l		x
				« . / , f t = l
		i = l						(8.2)
		n
Если ввести соответствующие обозначения, то							уравнение
(8.2) можно записать в			более	компактной		форме. Обозначим
через yt	частную производную dy/dt, через ух					— градиент и		ухх—
матрицу	второго	порядка	из частных		производных. Тогда			урав-
ние (8.2) принимает вид1 )
	dy = yt	+ yTxf+	Ytv{y™a(yT)		d.t-ryTxadw			(8.3)
Покажем сначала, как можно получить						результат	формаль
но. Ряд Тэйлора для у приводит к следующему выражению:
	Ay = yt	At + ут Ах ~ Y(Ах)'			ухх (Ах) + о (At),			(8.4)
	Ay = yt	At + ут Ах ~ Y(Ах)'			ухх (Ах) + о (At),

где

Ах = / (х, t)At + a (х, t) Aw.

Следовательно,

(А х)т у х х Ах = (ДОУ)Г от у х х о Aw - f о (At) = tr (Aw)T aT y x x aAw - f

+	о (At) = tr yxx	oAwAwT	aT о (At).			(8.5!
Таким	образом,
	EAy = ytJY-yTxf(x,t)-T			—try^aa1 At -ho	(At),
	var (Ay) = yTx aoT yx-At + o (At),
поскольку £ \|\| АшЦ 4 ^ ( Д ^ ) 2 -					Т
				1	Т
Отметим, что в обычном			исчислении член — {Ах)			уххАхиме
ет порядок (At)2.		Приведем		несколько примеров		применения
правила дифференцирования				Ито.

1 Здесь и далее в тексте через tr (trace) обозначен след матрицы, приве денной в скобках. — Прим. ред.

Стохастические модели

состояния

Пример 1

Пусть

{w(t),teT}—винеровский

процесс с единичным па

раметром дисперсии. Рассмотрим

функцию

У (0 =

еш{1).

(8.6)

Применив теорему 8.1, получим

dy=ewll)dw

+ —

ewll)dt.

Функция

удовлетворяет

следующему

стохастическому

диф

ференциальному

уравнению:

[dy=y (— dt - f

dw\

(8.7)

) '

\у(0)

или, обратно, стохастическое дифференциальное уравнение

(8.7)

имеет решение

(8.6).

Пример 2

Рассмотрим

стохастическое

дифференциальное

уравнение

dx = Axdt +

dv,

где {v(t),

teT)

— винеровский

процесс

с ковариацией

прираще

ний Ridt.

Положим

у {х, t)

= хт

S (/)

х.

Теорема 8.1 приводит к следующей формуле:

dy = d(хт

Sx)

= \ х т ^

х+хт

ATSx

хт SAx+tvSR^

dvT

+ xT

Sdv.

(8.8)

Оценка функции потерь

При оценке характеристики системы, управление которой описывается стохастическим дифференциальным уравнением, необходимо проанализировать выражения вида

		h
V(х,t)	=	Е [ j G(х(s),	s)ds\x(t) =	х \| ,	(8.9)
		i
где случайный процесс		{x(t),teT}	удовлетворяет условию		(8.1)
и G — скалярная	функция. Если		G дважды	непрерывно	диф
ференцируема, то можно вывести			дифференциальное уравнение
в частных производных для V:

88		Глава		3
	t+ii
V (х, t) =	Е [ j G (x (s), s)ds +		V (x (t +		h),	t + h) \ x (t) =			л-\| =
=	E\G(xlt)h-hV{x,t)		+	dV(x,t)	+	o(h)\x(t)=x].			(8.10)
Оценивая	dV с помощью теоремы 8.1 н переставляя							члены, по
лучим
	^	+ G + V # +	J L t r K w o o r			= 0.			(8.11)
	dt	Л	2	л
Граничное	условие	получается	непосредственно				из	выражения
(8.9):
		У(х,Ц		= 0.					(8.12)
Таким образом, оценку функции				потерь		(8.9)	можно		свести

к решению дифференциального уравнения в частных производных(8.11) с граничным условием (8.12). Заметим, что уравнение

(8.11) можно написать в виде
	— +	G +		# * K = 0 ,				(8.13)
	dt
где 2;*—обратный	оператор	Колмогорова, определенный						фор
мулой (7.9).
В квантовой механике этот результат использован для полу
чения численных решений дифференциальных уравнений								в ча
стных производных типа (8.11).				Итак,		траектории	уравнения
(8.1) с начальным	условием х0		найдены,			а значение	V в точке
х0 получено путем оценки (8.9)			вдоль траектории и усреднением
но методу Монте-Карло.
Упражнения
1. Пусть {w(t),	t еТ} — винеровский процесс с единичным па
раметром дисперсии. Показать,				что	стохастическое		дифферен
циальное уравнение
	dx = Vх		dw + —			dt,
					4
	х (0) =	1
имеет решение
	x{t) =	(\	+	у	('))*•

2. Пусть	{w(t),teT}—винеровский	процесс с	единичным
параметром	дисперсии. Показать, что стохастическое		дифферен
циальное уравнение

Стохастические модели состояния				89
dx-y = хг dw	— хх	dt,	хх (0) =	0,
dx2 = — хх dw	~ х2 dt,		х2 (0) = 1
имеет решение
x1(t)	= sin	w(t),
x2(t)	— cos	w(t).

3. Найти решение стохастического дифференциального урав нения

		dxx	= х2		dt,
		dx2	= dw
с начальными	условиями
		х1Ф)		=	1,
		*а (0)		=	0,
где {w(t), teT}	— винеровский		процесс с единичным парамет
ром дисперсии.
4. Использовать		правило	дифференцирования Ито для до
казательства теоремы 6.1.
5. Дифференциал		Ито обладает			свойством

Е [х (t + h) — х (t) — d0x {t)Y = о (Л).

Сравнить это свойство с тем, что говорится в разд. 4, и пока зать, что можно ввести другие дифференциалы, например обрат ный дифференциал d\ со свойством

или			Е {х(t) — x(i — h) — d1x(t)}2		=	о(h)
или
			dh х = (1 — К) d0 х + Ы{		х.
Вывести		формулы для дифференциала dxx,			аналогичные прави
лу дифференцирования Ито.
	6. Вычислить функцию потерь
			и
			V (a, t) = Е \| j хт	(s) Qx (s) ds \x(i)=		af
			t
для	линейного		стохастического	дифференциального			уравнения.'
			dx — Axdt + dw,
где	{w(t),	teT}	— винеровский	процесс с ковариацией			прираще
ний Rdt.		Вывести дифференциальное уравнение в частных про
изводных для			V и показать, что оно имеет решение

<<< < Предыдущая 1 2 3 4 5 6 7 89 / 339 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 > Следующая >>>

Соседние файлы в папке книги из ГПНТБ

#
22.10.202312.76 Mб10Основы теории полета и элементы проектирования искусственных спутников Земли..pdf
#
22.10.202312.8 Mб11Основы теплотехники и гидрогазодинамики учеб. пособие.pdf
#
22.10.202315.81 Mб3Основы технической эксплуатации ЭЦВМ..pdf
#
19.10.20237.26 Mб1Особенности вскрытия, испытания и опробования трещинных коллекторов нефти..pdf
#
29.10.20235.26 Mб45Остапов Г.К. Логарифмы.pdf
#
24.10.202310.97 Mб10Острем К.Ю. Введение в стохастическую теорию управления.pdf
#
29.10.20231.86 Mб4Островский Я.М. Борьба с пробкообразованием в нефтяных скважинах на месторождениях Туркмении.pdf
#
29.10.20234.68 Mб8Остроумов Г.Н. Приручение Солнца [очерки].pdf
#
27.10.202320.12 Mб2Отделка сортового проката..pdf
#
29.10.202311.55 Mб4Отепление шахтных стволов М. М. Шемаханов. 1960- 11 Мб.pdf
#
19.10.20236.57 Mб0Отраслевая экономика народного хозяйства Удмуртской АССР [сборник статей]..pdf