книги из ГПНТБ / Казаков В.А. Введение в теорию марковских процессов и некоторые радиотехнические задачи

которая с весом pik является слагаемым искомой вели­ чины <tij>i. Суммируя по всем k, получаем

Учитывая правила сложения и перемножения ма­ триц, на основе (1.22) получаем матричное соотноше­ ние

в данное невозвратное состояние в зависимости от на­ чального состояния. Из (1.22) следует, что в матрице N элементы главной диагонали (i = j) должны быть боль­ ше единицы.

Вычислим фундаментальную матрицу для поглощаю­ щей цепи Маркова, рассмотренной в примере 2 § 1.2. Из соотношений (1.18), (1.19) имеем:

тогда

Как известно {5, 6], любая невырожденная квадрат­ ная матрица А порядка k имеет единственную обратную матрицу, записываемую в виде

где \А\—определитель матрицы А; Ац — алгебраиче­

20

Используя определение (1.25), для матрицы (1.24) легко получаем обратную

(1.26)

где последнее равенство записано на основе (1.23) в со­ ответствии с новой нумерацией состояний.

Конкретизируем пример, задав р= 1/4- Тогда из (1.26) получим

(1.27)

Рассмотрим, например, вторую строку матрицы (1.27). Элементы этой строки показывают, что если про­ цесс начинается из состояния х ^ то с учетом единичного вклада начального состояния процесс проводит в этом

но выбрать любое состояние, в котором оказывается процесс в данный момент времени. Следовательно, фун­ даментальная матрица дает одинаковый прогноз на бу­ дущее независимо от абсолютного значения времени, прошедшего от начального момента. Это обстоятельство, в частности, иллюстрирует марковское свойство процес­ са, характеризуя его как процесс без последействия: при известном настоящем будущее не зависит от прошлого. При этом следует иметь в виду, что указанное свойство фундаментальной матрицы не противоречит характеру изменений безусловных вероятностей и вероятностей пе­ рехода с течением времени: у поглощающих цепей без­

21

Фундаментальная матрица позволяет вычислить еще целый ряд важных характеристик марковской цепи.

Тогда среднее время до поглощения при начальном со­ стоянии ХІ равно:

Соотношение (1.28) указывает путь для определения важнейшей характеристики цепи tiCp. Именно: сумми­ руя построчно элементы фундаментальной матрицы, по­ лучаем вектор-столбец величины ticp:

из состояния Хз. Естественно было бы ожидать, что ве­ личина ticp будет меньше rfscp, так как попасть в погло­ щающее состояние из среднего труднее, чем из близле-

^5ср>^4срРазберем теперь вопрос о том, в к а к о е из погло­

щающих состояний попадет блуждающая частица. Для этого необходимо вычислить все возможные вероятности bij того, что процесс, выходящий из невозвратного со­ стояния ХІ, попадает в поглощающее состояние Xj. При

22 •

стояний в поглощающие.

Если процесс выходит из невозвратного состояния хь то, во-первых, он может с вероятностью р ц оказаться в интересующем нас поглощающем состоянии Xj (веро­ ятности Pij образуют подматрицу R), во-вторых, процесс может попасть с вероятностью р ш в любое другое не­ возвратное состояние Xh (вероятности pik образуют под­

Применение (1.30) к рассматриваемому числовому при­ меру приводит к следующему результату:

состояния ХІ в поглощающее состояние Хі больше, чем вероятность попадания в состояние xz. Полная вероят­ ность поглощения процесса, выходящего из любого на­ чального состояния, равна единице. Этот факт легко подтверждается построчным суммированием элементов последней матрицы.

С помощью фундаментальной матрицы N можно вы­ числить и другие характеристики'поглощающих цепей Маркова. В частности, помимо средних значений вычи­ слены, например, дисперсии величин tij и ti [3].

23

1.5. Эргодические цепи Маркова

Напомним, что эргодическая марковская цепь не со­ держит поглощающих состояний и состоит из одного класса сообщающихся состояний. Если время существо­ вания процесса в поглощающей системе конечно, то при отсутствии 'поглощающих состояний процесс может раз­ виваться сколь угодно долго. В связи с этим основной интерес представляет вопрос о том, как изменяются с течением времени безусловные вероятности состояний эргодической цепи. Для эргодических цепей справедли­

Доказательство этой теоремы можно найти, например,

в[1].

Соотношения (1.31), (1.32) означают, что предел ве­ роятности перехода между любыми состояниями эрго­ дической цепи существует и не зависит от состояния х*. Иными словами, по истечении достаточно большого вре­

24

ведл'иво при произвольном п

^ + , ) = 2 / > : e w

1=1

Но ів стационарном режиме (.при -большом п) 'безуслов­ ные вероятности равны финальным

поэтому

Система (1.34) из N алгебраических уравнений является однородной и, следовательно, имеет лишь ну­ левое решение. Если же из (1.34) взять /V—I уравнение и дополнить их условием нормировки

Возводя эту матрицу во вторую, третью и четвертую сте­ пени, получаем

Как видно, матрица перехода уже за четыре шага вырождается в матрицу, полностью определяемую ма-

26

трицей-строкой. Небольшие различия в четвертом знаке после запятой исчезают полностью в матрице

Согласно теореме Маркова финальные вероятности для этого примера равны

рі=0,4391, /72 =О,3170; р 3 =0,2439 . Вычислим теперь безусловные вероятности состояний

(1.15) можно получить следующие результаты, для удоб­ ства сведенные в табл. 1—5.

Таблицы показывают изменение безусловных вероят­ ностей с ростом числа шагов. Хорошо заметен эффект «забывания» начального распределения. Как видно из табл. 1—4, независимо от вида начального распределе­ ния уже через четыре шага наступает стационарный режим. Табл. 5 указывает на то, что при начальном рас­ пределении, равном распределению финальных вероят­ ностей, во все моменты времени имеет место стационар­ ный режим.

Вычислим теперь финальные вероятности состояний путем решения системы уравнений. Согласно (1.35) имеем:

РіРн+р%р%\.+РзРзі—Рі=0 ;

Pipi2+Р2Р22+РзРзг—Рг=0 ;

Рі + Р2+Рз=Л,

или

—0,4р1 +0,4/?2 +0,2рз=0; 0,3/?!—0,8/72+0,5р3=0;

Р і + / ? 2 + Р з = 1 .

27

28

Решение этой системы уравнений приводит к следующе­ му естественному результату

РІ=0,4391, /?2=0,3170, р 3 = 0,2439.

Если положить для определенности х± = 0, х%=\, х3—2, то стационарный режим можно характеризовать корре­ ляционной функцией Kx(kA) с дискретными значениями аргумента M (à=Q, 1, 2, ... )

(1.36)

где t/j — состояние системы в момент времени, отстоя­ щий от выбранного фиксированного момента на вели­

Помимо финальных вероятностей для эргодических цепей можно определить еще ряд интересных характери­ стик. Если, например, необходимо вычислить среднее время, за которое процесс из состояния ХІ впервые по-

29