Непрерывные марковские цепи

На практике часто встречаются ситуации, когда система имеет конечное число дискретных состояний, а переходы между состояниями происходят в произвольные моменты времени. Например, отказы аппаратуры могут произойти в любой случайный момент времени.

Случайный процесс с непрерывным временем называется непрерывной марковской цепью, если поведение системы после произвольного момента времени t зависит только от состояния в этот момент времени и не зависит от истории процесса, предшествующей моменту t (соблюдается принцип отсутствия последействия).

Очень часто на практике интервалы времени между двумя переходами между состояниями системы подчинены показательному закону распределения

Для непрерывной марковской цепи определим вероятности всех состояний системы для любого момента времени p_i(t), i=1, 2,…, N. Так как для любого момента t все состояния образуют полную группу событий, то

Пусть система в момент времени t находится в состоянии S_i. Рассмотрим элементарный промежуток времени t, примыкающий к моменту времени t. Вероятность перехода из состояния S_i в S_j за промежуток t обозначим p_ij(t). Назовем плотностью вероятности перехода величину _ij, определяемую так:

,

то есть, при малых t вероятность перехода p_ij(t)  _ij(t) t.

Если все плотности вероятностей перехода не зависят от t, то такой марковский процесс называется однородным: _ij(t) = _ij = const (и неоднородным – в противном случае). При этом для случая, когда интервал времени между переходами системы распределен по показательному закону, плотность вероятности перехода равна параметру  показательного закона.

Пусть известны плотности вероятностей переходов _ij для всех пар состояний S_i и S_j. Определим вероятности состояний системы p_i(t). Для момента времени t+t справедливо соотношение:

.

Из свойства матрицы переходных вероятностей (сумма вероятностей по строке равна 1) следует:

.

Подставив это в предыдущее выражение, получим:

,

.

Разделим обе части равенства на t и устремим его к нулю, получаем:

.

Получили систему дифференциальных уравнений А.Н.Колмогорова:

, .

Интегрирование этой системы по времени позволит вычислить функции p_i(t). При этом должно соблюдаться условие нормировки.

Колмогоров Андрей Николаевич (1903 - 1987). Великий русский ученый, один из крупнейших математиков XX столетия, член Национальной Академии наук США и американской Академии искусств и наук, член Нидерландской Королевской академии наук, Академии наук Финляндии, Академии наук Франции, Германской академии естествоиспытателей "Леопольдина", Международной академии истории наук и национальных академий Румынии, Венгрии и Польши, почетный член Королевского статистического общества Великобритании, Лондонского математи­ческого общества, Международного статистического института и Математического общества Индии, иностранный член Американского философского общества, Американского метеорологического общества, лауреат самых почетных научных премий: премии П.Л.Чебышева и Н.И.Лобачевского АН СССР, Международной премии фонда Больцано и Международной премии фонда Вольфа, а также государственной и Ленинской премии, награжденный 7-ю орденами Ленина, медалью "Золотая Звезда" Герой Социалистического труда академик Андрей Николаевич Колмогоров сам себя всегда называл "просто профессор Московского университета". На протяжении почти полувека А.Н.Колмогоров был общепризнанным лидером в теории вероятностей. Вместе с А.Я. Хинчиным и многими своими учениками он внес значительный вклад в развитие теории информации. К середине 50-х гг. именно А.Н.Колмогоров предложил наиболее общее определение количества информации в вероятностном смысле, а в дальнейшем развил и другой подход, так называемую алгоритмическую теорию информации, в котором под энтропией понималась сложность объекта, равная сложности алгоритма, описывающего объект.

В эргодических марковских цепях существует установившийся режим, при котором вероятности не меняются с течением времени. Следовательно, p_i(t)=p_i. Производные в системе дифференциальных уравнений Колмогорова при этом равны 0 и система Колмогорова становится сходной с системой для нахождения стационарных вероятностей для дискретных систем.

1 Пример взят из кн. Вероятностные методы в вычислительной технике/ А.В.Крайников, Б.А.Курдиков, А.Н.Лебедев и др. – М.: Высш. шк., 1986.