Ланцюги Маркова з дискретним часом

1. Дискретні ланцюги Маркова

Нехай задана послідовність випадкових величин на одному і тому ж самому ймовірнісному просторі , і дані випадкові величини набувають значення з множини . Говорять що послідовність випадкових величин є процесом Маркова, якщо для будь-якого натурального n та для довільних існують скінчено вимірні розподіли (1)

такі, що виконується рівність

(2)

Властивість (2) наз. Властивістю Маркова.

Нехай мн. Е- це дискретна множина, тоді процес Маркова наз. ланцюгом Маркова з дискретним часом

(3)

Якщо така ймовірність не залежить від n, то ланцюг Маркова наз. однорідним.

Введемо позначення перехідної ймовірності за n кроків. За n будемо позначати

(4)

Якщо ланцюг в початковому стані i, то за n кроків він перейде в j. Позначимо ланцюг перехідних ймовірностей за n кроків

Де

Наведемо властивості для перехідних ймовірностей

1.

2.Матриця перехідних ймовірностей є стохастичною

Матриця наз. стохастичною, якщо сума ймовірностей в рядку матриці вихідних ймовірностей =1

3.Властивість Четмена - Колмогорова

n>0, m>0

це матриця перехідних ймовірностей за один крок

Ланцюг Маркова визначається початковим розподілом та перехідними ймовірностями (матрицею перехідних ймовірностей). Таким чином позначається початковий розподіл ланцюга .

Скінченно-вимірний розподіл ланцюга Маркова визначається . (5)

Властивості умовної ймовірності

Доведемо (5) використовуючи властивості умовних ймовірностей

Властивість Маркова визначає, що стани ланцюга в майбутньому залежить від теперішнього стану, і не залежить від передісторії.

Рівняння Чепмена-Колмогорова можна подати у матричному вигляді

Матриця перехідних ймовірностей за (m+n) кроків можна подати як добуток матриць перехідних ймовірностей за 1 крок в стані m і n відповідно.

2.Класифікація станів ланцюга Маркова. Рекурентність. Теорема солідарності. За матрицею переходів за n кроків введемо наступні типи станів ланцюга Маркова. Ланцюг Маркова має такий тип станів як неістотний. Стан х_і називається неістотним якщо для нього знайдеться такий стан х_j0 та таке n₀, що існує ймовірність переходу зі стану і в стан j₀ , тобто при цьому ймовірність перейти в стан і назад рівна 0. В іншому випадку стан називається істотним.

Стан х_j досягається зі станом х_і, х_j, якщо існує ймовірність переходу зі стану і в стан j . При цьому . Стан х_і сполучається з х_j , якщо та і позначається .

За визначенням сполучення є рефлексивне, транзитивне, симетричне, тобто є відношенням еквівалентності.

За відношенням еквівалентності сполучення множини станів може бути представлене як розбиття на класи Е₁, Е₂,…причому ці класи не перетинаються . Ці класи визначають стани , що між собою сполучаються. Стани об’єднуються в один клас , якщо вони сполучаються один з одним.

Існує можливість, що відправляючись зі стану , що відноситься до одного класу еквівалентності з додатною ймовірністю, попасти в інший клас. Хоча тоді повернутися до початкового стану неможливо, оскільки в даному випадку два класи утворювали б один клас еквівалентності.

То якщо . Клас еквівалентності , що складається з одного стану називається поглинаючим.