3. Марковские процессы с дискретным временем.

Как было определено ранее, для случайных процессов с дискретным временем изменения состояний возможны только в определенные моменты времени, и эти моменты обозначим через t₀, t₁, t₂, … . В случае дискретной цепи Маркова для описания переходов между состояниями используются вероятности переходов, определяемые как

(4)

p_ij(t_k)=Pr{g(t_k+1)=E_j|g(t_k)=E_i}, i,j=0,n.

Вероятность перехода (за один шаг) p_ij(t_k) задет вероятность того, что случайный процесс на следующем (k+1)-ом шаге перехода (в момент времени t_k+1) окажется в состоянии E_j при условии, что на текущем k-ом шаге (в момент времени t_k) он находится в состоянии E_i.

Если вероятности переходов p_ij(t_k) не зависят от момента времени t_k, т.е. p_ij(t_k)=p_ij, то цепь Маркова называетсяоднородной, в противном случае - неоднородной. Далее будем рассматривать только однородные цепи Маркова.

Вероятности переходов p_ij, i,j=0,n, обычно задаются в виде квадратной матрицы T размерности (n+1)´(n+1):

(5)

элементы которой удовлетворяются условиям:

, i=0,n;

(6)

, i,j=0,n.

Условие (5) означает, что в любой момент времени t₀, t₁, t₂, … процесс обязательно (с вероятностью 1) перейдет из состояния E_i в какое-либо другое состояние E₀, E₁,×××, E_n, причем не исключается возможность перехода в то же самое состояние.

Матрица, удовлетворяющая условиям (5) и (6), называется стохастической. Поскольку элементами стохастической матрицы Т являются вероятности переходов p_ij, то эта матрица называется матрицей вероятностей переходов.

Наряду с вероятностями переходов p_ij за один шаг, определим вероятности переходов за m шагов в виде

, m=1, 2, …

Здесь  задет вероятность того, что через m переходов случайный процесс окажется в состоянии E_j при условии, что на текущем шаге он находится в состоянии E_i. В силу однородности марковской цепи вероятности , i,j=0,n, не зависят от текущего времени t_k.

Используя марковское свойство, легко вывести следующую формулу для вычисления вероятностей :

(7)

, m=2, 3, …

Это равенство означает, что для попадания из состояния E_i в состояние E_j за m шагов необходимо сначала попасть из состояния E_i в некоторое состояние E_k за m-1 шагов, а затем за один шаг перейти из E_k в E_j. Вероятность этих двух независимых событий (они независимы в силу марковского свойства) равна произведению вероятностей каждого из них, и, если просуммировать эти произведения по всем возможным промежуточным состояниям E_k, то получится вероятность .

Цепь Маркова называется неприводимой, если каждое ее состояние может быть достигнуто из любого другого состояния, т.е. для каждой пары состояний E_i и E_j существует целое число m₀ такое, что . Состояние E_i называетсяпоглощающим, если процесс достигнув это состояние, не покидает его. Очевидно, для поглощающего состояния p_ii=1. Состояние E_i называется невозвратным, если случайный процесс после какого-то числа переходов непременно покидает его.

Вернемся к вопросу определения вероятностей состояний P_i(t_k), i=0,n, предполагая, что начальные вероятности P_i(t₀),i=0,n, при t₀=0 известны.

Используя доводы, аналогичные тем, что были приведены для обоснования равенства (7), легко определить, что искомые вероятности после первого шага, т.е. на момент времени t₁

, i=0,n.

Вероятности состояний после второго шага на момент времени t₂ определяются аналогично:

, i=0,n.

В общем случае после k-го шага на момент времени t_k, k=1, 2,..., вероятности состояний будут равны

(8)

, i=0,n.

(9)

В векторной форме равенства (8) имеют вид:

P(t_k)=P(t_k-1)T.

Если случайный процесс обладает эргодическим свойством, т.е. существуют пределы , i=0,n, то соответствующие предельные значения вероятностей состояний P_i, i=0,n, для стационарного режима определяются из решения системы уравнений:

, i=0,n

(10)

или в векторном виде

P=PT

.

(11)

с нормировочным условием

В системе (10) уравнения являются линейно зависимыми и любое из них можно исключить из нее, а недостающее при этом (для однозначного определения n+1 неизвестных)   уравнение составляет условие (11).

Сформулируем теперь правило составления уравнений для стационарных вероятностей состояний марковского процесса с дискретным временем по графу переходов. Для каждого состояния уравнение составляется следующим образом. В левой части уравнения записывается стационарная вероятность рассматриваемого состояния. Правая часть представляет собой сумму членов, число которых равно числу дуг, входящих в рассматриваемое состояние. Каждый член представляет собой произведение вероятности перехода, соответствующей данной дуге, на вероятность состояния, из которого исходит эта дуга. Сформулированное правило позволяет чисто механически записывать уравнения для стационарных вероятностей состояний непосредственно по графу переходов.

Пример. Рассмотрим систему, которая состоит из двух устройств y₁ и y₂, каждое из которых может находиться в одном из двух состояний: не работает (обозначим это состояние через 0) и работает (состояние 1). В определенные моменты времени может включиться или выключиться только одно устройство. Пусть процесс функционирования такой системы описывается процессом с дискретным временем