- •Вопрос 1: Классические задачи, иллюстрирующие необходимость построения теории случайных процессов. Понятие случайного процесса.
- •Вопрос 2. Классификация случайных процессов. Процесс с независимыми приращениями. Мартингалы.
- •Вопрос 3. Классификация случайных процессов. Марковские процессы. Стационарные случайные процессы.
- •Вопрос 4. Классификация марковских случайных процессов.
- •Вопрос 5. Понятие дискретной цепи Маркова и ее вероятностных характеристик.
- •Вопрос 6. Вероятностная структура однородной цепи маркова (вывод формулы ).
- •Вопрос 7. Определение вероятности перехода цепи Маркова за m шагов.
- •Вопрос 8. Примеры цепей Маркова.
- •Вопрос 9. Классификация состояний цепи Маркова
- •Вопрос 10. Критерий возвратности. Применение критерия возвратности к одномерному случайному блужданию по целочисленной решетке.
- •Вопрос 11. Предельная теорема для конечных цепей Маркова
- •Вопрос 12. Понятие марковского процесса и основных его вероятностных характеристик.
- •Вопрос 13. Вывод дифференциальных уравнений Колмогорова. Составление уравнений Колмогорова с использованием графа состояний.
- •Вопрос 14. Эргодические свойства однородных марковских случайных процессов.
- •Вопрос 15. Определение предельных вероятностей состояний Марковского процесса для двух состояний.
- •Вопрос 16. Понятие пуассоновского процесса. Примеры.
- •Вопрос 17. Утверждение о распределении промежутков времени и моментов времени для пуассоновского распределения.
- •Вопрос 18. Понятие процесса чистого рождения. Теорема Феллера.
- •Вопрос 19. Процесс рождения и гибели.
- •Вопрос 20. Процессы массового обслуживания. Основные понятия и классификация смо.
- •Вопрос 21. Характеристики простейшого потока. Основные свойства простейшего потока. Время ожидания и время обслуживания.
- •Вопрос 22. Принципы построения моделей массового обслуживания.
- •Вопрос 23. Основные характеристики систем массового обслуживания с отказами. Уравнения Эрланга.
- •Вопрос 24. Основные характеристики смо с ожиданием.
- •Вопрос 25. Понятие мартингала, субмартингала, супермартингала. Свойства мартингала, субмартингала, супермартингала.
- •Вопрос 26. Разложение Дуба.
- •Вопрос 27. Тождество Вальда. Доказательство тождества Вальда по Колмогорову-Прохорову.
- •Вопрос 28. Применение тождества Вальда для случайного блуждания.
- •Вопрос 29. Теорема Дуба о преобразовании свободного выбора.
- •Вопрос 30. Неравенство Дуба для максимального значения мартингала.
Вопрос 7. Определение вероятности перехода цепи Маркова за m шагов.
Ответ:
Если – вероятность перехода из состояния в состояние за шагов, то для однородной цепи Маркова имеем:
Первая задача в теории цепей Маркова состоит в определении вероятности перехода из состояния в состояние за шагов. Пусть – цепь Маркова с матрицей переходных вероятностей и множеством состояний . Матрица переходных вероятностей определяет вероятности перехода за 1 шаг.
Для однородной цепи Маркова с матрицей переходных вероятностей при любом справедливо равенство: .
Цепь Маркова называется неоднородной, если переходные вероятности зависят от номера испытания .
В этом случае переходные вероятности обозначаются как . Тогда матрица переходных вероятностей будет зависеть от .
Вопрос 8. Примеры цепей Маркова.
Ответ:
Пространственно-однородные цепи Маркова. Пусть дискретная случайная величина ξ принимает неотрицательные целочисленные значения, причем Пусть ξ1, ξ2, … , ξn, … – результаты независимых наблюдений случайной величины ξ.
a) Определим процесс X(t), n = 0, 1, 2, …, положив Xn = ξn, где X0 = ξ0 задано.Матрица переходных вероятностей имеет вид
P = .
У P все строки одинаковы, следовательно, случайная величина Xn+1 не зависит от случайной величины Xn.
a) Определим процесс X(t), n = 0, 1, 2, …, положив Xn = Sn, где Sn = ξ1 + ξ2 + … + ξn. Считаем, что S0 = 0. Найдем матрицу переходных вероятностей.
P =
Процесс Xn образует ЦМ.
Одномерные случайные блуждания. Пусть η1, η2, … - независимые одинаково распределенные случайные величины. P {ηk = -1} = q, P {ηk = 1} = p, а последовательность ξt строится по правилу
и называется случайным блужданием на множестве неотрицательных целых чисел с отражающим экраном в 0.
i} = p,
i} = q = 1 - p, i≥ 1,
0} = q.
P =
Модель Эренфестов для процесса диффузии. Эта модель представляет собой цепь с (n + 1) состояниями и возможными переходами только в состояния, соседние справа и слева. Тогда переходные вероятности определяются равенствами:
Цепь имеет две физические интерпретации. Рассмотрим модель Эренфестов. Ученые физики описали мысленный эксперимент, при котором перемещали n частиц по двум сосудам. В каждый момент времени t = 0, 1, … случайно, равновероятно и независимо от предыстории выбирается одна из n частиц и перемещается в другой сосуд. Пусть ξt – число частиц в первом сосуде в момент t. Состоянием процесса считается число частиц (0, 1, 2, …, n) в первом сосуде, и переходные вероятности имеют вид:
=
=
Тогда
P =
Следовательно, эксперимент описывается цепью Маркова.
Вопрос 9. Классификация состояний цепи Маркова
Ответ:
Состояние называется несущественным, если найдется , такое что для некоторого , но для всех . В противном случае состояние называется существенным.
Состояние называется поглощающим, если .
Состояния называются сообщающимися, если найдутся такие , что и . Сообщающиеся состояния всегда существенны.
Цепь Маркова, состоящая из одного класса сообщающихся состояний, называется неразложимой. Если она содержит более одного класса сообщающихся состояний, то она разложима.
Пусть – НОД чисел . Состояние называется периодическим с периодом , если . В противном случае состояние – апериодическое.
Если , то .
Если состояние имеет период , то и для всех .
Существенное состояние называется возвратно нулевым, если такое что , и невозвратным если .
Существенное состояние называется возвратно нулевым, если , при .
Неразложимая цепь Маркова называется апериодической, если все ее состояния апериодические.
Существенное состояние называется возвратным, если такое что и невозвратимым, если .
Существенное состояние называется возвратным нулевым, если при .
Неразложимая цепь Маркова называется апериодической, если все её состояния апериодические
Для неразложимой цепи Маркова справедливы свойства:
а) если хотя бы одно состояние возвратно, то и все другие возвратны;
б) если хотя бы одно состояние нулевое, то все другие состояния возвратно нулевые;
в) если хотя бы одно состояние имеет период d>1, то и все остальные периодичны с периодом d.
Таким образом, неразложимая цепь Маркова будет апериодической, если хотя бы одно из её состояний – апериодическое.