2. Понятие марковского случайного процесса.

Особое место среди случайных процессов занимают так называемые марковские случайные процессы, впервые описанные А.А. Марковым в 1907г. Случайный процесс называется марковским, если вероятность любого его состояния в будущем зависит только от состояния в настоящем и не зависит от того, каким образом и когда процесс пришел в текущее состояние. Аналитически сказанное может быть записано в виде:

(1)

Pr{g(t_n+1)=E_n+1|g(t₀)=E₀, g(t₁)=E₁, …, g(t_n)=E_n}=

=Pr{g(t_n+1)=E_n+1|g(t_n)=E_n},

где t₁<t₂< … <t_n<t_n+1, а E_n - текущее состояние. Иными словами, в марковских случайных процессах влияние (воздействие) всей предыстории процесса на его будущее полностью сосредоточено в текущем состоянии процесса. Это свойство называется свойством отсутствия последействия или применительно к случайным процессам марковскимсвойством.

Свойство отсутствия последействия накладывает существенные ограничения на распределение времени пребывания марковского процесса в том или ином состоянии. Так, в случае цепи Маркова с непрерывным временем время пребывания в данном состоянии должно быть распределено по экспоненциальному, а в случае дискретной цепи Маркова - по геометрическому, законам распределения, которые являются единственными, соответственно, непрерывным и дискретным распределениями без последействия. Только при таких ограничениях на времена пребывания процесса в состояниях гарантировано выполнение марковского свойства.

(2)

Рассмотрим марковский случайный процесс g(t) с конечным числом состояний E₀, E₁, …, E_n. Обозначим через P_i(t) вероятность того, что случайный процесс в момент времени t находится в состоянии E_i:

P_i = Pr{g{t} = E_i}, i = 0,n.

Очевидно, что в любой момент времени t процесс находится в одном из n+1 возможных состояний, т.е. события g{t}=E_i, i= 0,n заключающиеся в том, что в момент времени t процесс находится в состояниях E₀, E₁ ,…, E_n, образуют полную группу несовместных событий. Отсюда следует, что в любой момент времени t выполняется условие:

(3)

1,

которое называется нормировочным.

Совокупность вероятностей P_i(t), i=0,n, может быть представлена вектором, называемым вектором состояний, с числом компонент, равным числу возможных состояний процесса:

P(t)={P₀(t), P₁(t), …, P_n(t)}.

Главная задача изучения марковских случайных процессов заключается в определении вероятностей P_i(t), i = 0,n, нахождения процесса в любой момент времени t в том или ином состоянии, что дает полную информацию о случайном процессе. Для решения данной задачи необходимо:

1) указать в каком состоянии находится процесс в начальный момент времени;

2) описать переходы между состояниями.

Состояние процесса в начальный момент времени t=0 задается вектором начальных вероятностей

P(0)={P₀(0), P₁(0), …, P_n(0)}.

Описание переходов между состояниями зависит от того, каким (с дискретным или с непрерывным временем) является изучаемый марковский случайный процесс. Этот вопрос будет рассматриваться в следующих параграфах.

Очень часто при изучении марковских случайных процессов достаточно определить не вероятности P₀(t), P₁(t), …, P_n(t) в любой момент времени t, а их предельные значения (если они существуют) при .

Если при вероятности P_i(t), i=0,n, стремятся к предельным значениям P_i , i=0,n, не зависящим от распределения начальных вероятностей  P_i(0), i=0,n, то говорят, что случайный процесс обладает эргодическим свойством. Таким образом, для процессов, обладающих эргодическим свойством, существуют пределы

, i=0,n.

Предельные вероятности P_i, i=0,n, часто называют вероятностями состояний равновесия или стационарными вероятностями.