книги из ГПНТБ / Казаков В.А. Введение в теорию марковских процессов и некоторые радиотехнические задачи

В. А. К а з а к о в

ВВЕДЕНИЕ В ТЕОРИЮ

МАРКОВСКИХ ПРОЦЕССОВ

И НЕКОТОРЫЕ

РАДИОТЕХНИЧЕСКИЕ

ЗАДАЧИ

МОСКВА «СОВЕТСКОЕ РАДИО» 1973

Введение

В теоретических исследованиях по радиотехнике за последние годы нашли широкое применение идеи и мето­ ды теории марковских процессов. Об этом свидетель­ ствует большое количество публикаций — научных ста­ тей и монографий, в которых используются достижения этой математической теории.

К сожалению, инженеры-исследователи, окончившие радиотехнические факультеты даже в самые последние годы, не имели возможности в процессе учебы ознако­ миться с началами теории марковских процессов. Учеб­ ные планы, по которым ведется подготовка инженероврадистов в настоящее время, как правило, не содержат дисциплин, дающих хотя бы основы этой теории. В связи с этим значительное число новых исследований по радио­ технике остаются недоступными широкому кругу радио­ инженеров. К тому же в настоящее время не существует книги, которая могла бы служить пособием для первого знакомства с предметом. Предлагаемая книга призвана

вкакой-то мере способствовать этому.

Воснову книги положен расширенный конспект лек­ ций, которые автор читал студентам старших курсов радиотехнического факультета и сотрудникам некоторых научно-исследовательских организаций.

Целью книги является систематическое и доступное изложение основ теории марковских процессов с привле­ чением ряда конкретных задач из статистической радио­ техники.

При написании книги были использованы материалы из разнообразных капитальных и периодических изданий, на которые во всех случаях сделаны ссылки. В силу раз­ нородности затрагиваемых в книге проблем (теория и примеры) составлять обширный библиографический пе­ речень работ было признано нецелесообразным, поэтому список литературы ограничен.

Радиотехнические примеры выбраны так, чтобы про­ иллюстрировать основные возможности теории марков­ ских процессов и не загромождать изложение вспомога-

3

тельным материалом. В ходе работы над курсом лекций, а затем и над книгой автору удалось решить несколько задач, которые включены в текст.

Книга состоит из пяти глав.

Первая глава посвящена дискретным цепям Маркова. В ней приводятся определения цепи Маркова, переход­ ной и финальной вероятностей, обсуждается уравнение Колмогорова — Чепмена, дается классификация состоя­ ний и цепей. Рассматриваются поглощающие и эргодические цепи Маркова, после чего разбираются две кон­ кретные радиотехнические задачи.

Во второй главе излагается теория разрывных мар­ ковских процессов. Дается определение разрывного про­ цесса с конечным числом состояний. Рассматривается пуассоновский поток событий и обсуждаются его свой­ ства. Приводится методика составления систем диффе­ ренциальных уравнений для вероятностей состояний мар­ ковского процесса. Изучается процесс гибели и размно­ жения, разбираются примеры из теории надежности и теории массового обслуживания. Исследуются импульс­ ные марковские процессы с дискретными состояниями, причем особое внимание уделяется процессу с двумя со­ стояниями. Выводится интегро-дифференциальное урав­ нение Колмогорова для разрывных процессов Маркова с непрерывным множеством состояний. Глава завершает­ ся рассмотрением импульсных разрывных процессов с не­ прерывным множеством состояний:

В третьей главе рассматриваются непрерывные мар­ ковские процессы. Разбирается процесс броуновского движения. Дается вывод прямого и обратного уравнений. Колмогорова. Изучаются свойства белого шума и винеровского процесса. Устанавливается связь уравнения Фоккера — Планка — Колмогорова с дифференциальным уравнением, описывающим поведение случайного процес­ са. Анализируются методы решения уравнения Фокке­ ра — Планка — Колмогорова. Исследуются свойства нор­ мального марковского процесса. Обсуждаются задачи о достижении границ и излагаются основные сведения из теории многомерных диффузионных процессов.

Четвертая глава целиком посвящена применениям теории непрерывных марковских процессов в радиотех­ нических задачах. Рассматривается пример о воздейст­ вии шума на параллельный колебательный контур. Ис­ следуются флюктуации амплитуды и фазы колебаний

4

i

ДИСКРЕТНЫЕ ЦЕПИ МАРКОВА

1.1.Вводные замечания

При первом знакомстве с теорией вероятностей непременно при­ ходится сталкиваться с так .называемой схемой н е з а в и с и м ы х испытаний, которая служит математической моделью для описания обширного круга разнородных явлений. Смысл термина «независи­ мые испытания» состоит в том, что исход испытания в некоторый дискретный момент времени совершенно не влияет на исход любого другого испытания в любой последующий момент времени. Общая постановка решаемой в подобных условиях задачи такова: при за­ данных вероятностях каждого из возможных событий необходимо определить вероятность того, что за серию испытаний некоторое со­ бытие произойдет определенное число раз.

Сформулированную задачу можно решать и для другогоболее

исход цроводимого испытания. Можно, например, полагать, что при увеличении / степень этого влияния убывает. Обычно величина / ограничена некоторым т, так что при всех j>in исходы испытании

не влияют на результаты t-ro испытания. Последовательности таких

(1856—1922 гг.). А. А. Марков впервые начал изучать схемы зависи­ мых испытаний и получил ряд основополагающих результатов.

•Выбор числа m является принципиальным при описании цепей, так как это число определяет так называемую с в я з н о с т ь цепи. Именно, цепь Маркова называется т-овятой, если «а іисход испыта­ ния оказывают влияние результаты m предыдущих испытаний. Та­

а цепи, связность которых большей двух — м н о г о с в я з н ы м и. Поскольку цепи Маркова описывают последовательность и с п ы ­

испытания можно было ібы и «е проводить. Так как будущие испыта­ ния зависят от исходов предшествующих, необходимо характеризо­ вать исходы будущих испытаний у с л о в н ы м и вероятностями.

Значительная часть явлений, которые можно представить как схему зависимых испытаний, достаточно хорошо описываются много­ связными цепями Маркова. Однако основное внимание исследовате­ лей было направлено на изучение простых цепей Маркова, для которых удалось создать обширную теорию. Роль теории простых цепей Маркова столь велика, что часто класс марковских цепей огра­ ничивается лишь односвязными цепями. Это обстоятельство обуслов­

6

для дростых цепей. Под марковским свойством понимается следую­

испытания позволяет при прогнозе будущего испытания пренебречь информацией об исходах прошлых испытаний. Такая особенность це­

только такие цепи (или процессы), которые обладают марковским свойством.

Использование простых цепей Маркова как некоторой матема­ тической модели, описывающей простейший вид зависимых испыта­ ний, не нашло широкого распространения. Чаще всего при изложе­ нии теории марковских цепей придерживаются иной схемы, предусматривающей наличие некоторой физической системы.

Предполагается, что система в каждый момент времени может

кова, необходимо соблюдение марковского свойства, которое в дан­ ном случае формулируется так: вероятность перейти в какое-либо состояние ХІ в момент tu+\ при условии, что в момент іи система

сит только от известного «настоящего» и не зависит от «прошлого».

Таким образом, цепи Маркова дискретны как по состояниям, так и по времени. Дискретность состояний имеет ясную физическую основу, дискретность времени — понятие менее очевидное. Нужно понимать, что термин «дискретное время» не противоречит общим представлениям о течении времени вообще. Он выражает только то, что некоторый процесс изменяется лишь при определенных дискрет­ ных значениях t. Работу системы в дискретном времени хорошо

иллюстрируют электрические часы, которые изменяют положение своих стрелок в дискретные моменты, отнюдь не опровергая тем са­ мым непрерывности времени.

Иллюстрацией процесса, описываемого цепью Маркова, слу­ жит, .например, движение человека, который через некоторые про­

ный пример возникает при наблюдении за движением частицы, кото­ рая может двигаться вверх или вниз единичными шагами. Частица совершает перемещения под воздействием случайных толчков, про­ исходящих в моменты t[, h, ... В дальнейшем пример случайного

блуждания частицы будет рассмотрен в различных вариантах.

7

1.2.Вероятности перехода

Важнейшей особенностью марковской цепи является го, что переход системы в последующий момент в неко­ торое состояние (или исход последующего испытания) зависит только от состояния, в котором'система находит­ ся в настоящий момент (или от исхода настоящего испы­ тания) .

Следовательно, состояния системы je,, jea ,..., xN

вмомент tn. необходимо характеризовать условными

Поскольку система может находиться в одном из N состояний, то для каждого момента времени h необходи­ мо задать N2 вероятностей перехода p[f, которые удоб­ но записать в виде матрицы *>

(1.1)

Следует иметь в виду, что в обозначениях ptj первый

индекс означает состояние системы в предшествующий момент времени, а второй указывает на возможное со­

в каждой строке записаны вероятности в с е х возможных переходов из выбранного состояния, в том числе и «пе­

непременно квадратная матрица с неотрицательными элементами, образующими по строкам единичную сумму.

*) В дальнейшем матрицы будут обозначаться полужиірныім шрифтом.

8

- По виду матрицы можно заключить, что," если система

вэтом состоянии—вероятность этого события равна 3 Д,

водном случае из четырех она перейдет в состояние хі;

переход же из состояния Хз в состояние х% невозможен. Пример 2. Обратимся к описанию движения блуждаю­ щей, под действием случайных сил частицы. Рассмотре­ ние этого движения позволяет проиллюстрировать основ­ ные разновидности марковских цепей, что определило широкое распространение этого примера в литературе

[1 - 4] .

Пусть движение частицы ограничено двумя экранами, установленными на границах. Зададим число возможных состояний N=5, совместив граничные точки с состоя­ ниями ХІ и л*. Предположим, что экраны являются п о-

9