8. Динамические модели управления

Рассмотренный подход к интересо-ориентированным системам является общим и требует доработок для его применения и учета стохастической природы явлений, происходящих в системах, и прогнозирования уровня рисков (шансов).

Для учета динамики изменения характеристик необходимо сделать некоторые дополнения в формальное описание модели управления рисками (шансами) системы. Пусть априорное распределение вероятностей на множестве состояний системы в модели IRM задается вектором , который, в свою очередь, определяет начальные характеристики системы. Система является, как было уже сказано выше, динамической и стохастической. Для того чтобы это отражалось в модели управления рисками (шансами), необходимо задать характеристику, позволяющую отражать динамику изменения системы, а также отражать случайный характер этого изменения. Необходимо ввести фактор времени для учета динамики изменений, происходящих в системе. Учитывая то, что множество состояний имеет конечную или счетную мощность, и, так как для системы задаются характеризующие ее дискретные состояния, описывать эти процессы возможно используя марковские процессы.

В соответствии с [24] случайный процесс, протекающий в системе с дискретными состояниями }, называется марковским, если для любого момента времени вероятность каждого из состояний системы в будущем зависит только от ее состояния в настоящем (при ) и не зависит от того, когда и как она пришла в это состояние; т. е. не зависит от ее поведения в прошлом (при ) . Отсюда, при формализации процессов в системе можно сделать следующие допущения:

1. Вероятность нахождения в каждом состоянии из их множества в будущем можно считать зависимой только от текущего состояния системы. Для упрощения математического аппарата при незначительной потере точности связь прошлого системы с будущим можно проводить только через настоящее.

2. Время можно считать дискретным для упрощения задачи построения модели, поскольку практически любую модель с непрерывным временем можно представить в виде модели с дискретным временем с приемлемой потерей точности.

3. Вероятность перехода из одного состояния в другое в рамках одного и того же состояния при отсутствии управленческих решений можно считать постоянной.

Таким образом, для моделирования работы системы можно выбрать однородный [24] марковский процесс с дискретным состоянием и дискретным временем, или, иначе говоря, однородную цепь Маркова.

Примером такой цепи может быть множество качественных состояний информационной системы:

- штатный режим функционирования;

- режим функционирования с низкой производительностью;

- отказ;

- профилактические работы.

В определенные моменты времени производится мониторинг состояния системы. Соответственно определению [24] однородной марковской цепи, каждому из состояний системы соответствуют определенные вероятности перехода в другие состояния, то есть возможно построить матрицу вероятностей перехода следующего вида:

.

В случае, когда задана данная матрица, а также априорное распределение на множестве состояний , можно узнать вероятность нахождения системы в определенном состоянии после k-го промежутка времени мониторинга, то есть узнать распределение .

Вероятности перехода из одного состояния системы в другое так же зависят от текущих состояний множества объектов, субъектов и процессов, которые в свою очередь зависит от принятых управленческих решений. Исходя из этого, в качестве необходимого элемента в модель IRM следует внести множество W стохастических матриц перехода. Выбор конкретной матрицы из этого множества зависит от состояния системы.

В результате можно определить модифицированную модель управления рисками (шансами) систем, которая позволяет учитывать фактор времени и особенности случайных процессов.

Исходя из всего вышесказанного, эта модель имеет следующий вид:

где: – множество субъектов, осуществляющих процессы воздействия;

– множество процессов, реализующих воздействия на объекты;

– множество объектов системы, подвергающихся воздействию;

– множество целей воздействия;

– функция полезности, определенная на множестве состояний;

– множество критериев полезности;

– множество управляющих воздействий по коррекции целей воздействий субъектов на систему;

– множество управляющих воздействий по коррекции средств реализации воздействий субъектов на систему;

– априорное распределение на множестве состояний;

– оператор выбора матрицы из множества , соответсвующей состоянию системы;

– множество стохастических матриц перехода, задающих однородную цепь Маркова, характеризующую динамику развития системы.

Проанализируем возможности по управлению рисками (шансами) на основе полученной модели. Развитие динамической и стохастической системы описывается элементами модели . Сведения, содержащиеся в данной структуре, позволяют оценить вероятность нахождения системы в каком-либо состоянии через определенный промежуток времени после принятия управленческого решения. Таким образом, можно оценить общий уровень риска (шанса) системы в любой момент времени в зависимости от принятых управленческих решений. Рассмотрим несколько стратегий управления для системы, описанной элементами модели .

Первой стратегией управления является минимизация (максимизация) значений риска (шанса) в контрольной точке. Эта стратегия предполагает получение экстремума уровня риска (шанса) к определенному моменту времени . Наилучшем управляющим воздействием считается такое, которое позволяет достичь наибольшего значения функции полезности в момент времени . Исходя из свойств однородной цепи Маркова [24], вероятность нахождения в j-м состоянии можно вычислить рекуррентно следующим образом:

То есть, зная исходное распределение , текущее состояние системы, а, следовательно, при заданном операторе и переходную матрицу, мы можем вычислить вероятность пребывания в каком-либо состоянии в любой момент времени. Временной интервал задается количеством дискретных временных шагов, то есть равен , где – начальный момент времени, – длина дискретного временного шага.

Для полученного значения вычисляются соответствующие вероятности и, так как для каждого состояния известно значение функции полезности, вычисляется ее математическое ожидание, которое в свою очередь является интегральным значением ожидаемой полезности для данного значения времени и соответствующего шага

Таким образом, критерий выбора управляющего воздействия будет следующим: , то есть выбирается такое действие, для которого значение функции полезности максимально. Значения - здесь и далее задают текущее состояние системы (множество объектов, субъектов и процессов).

Второй стратегией управления является минимизация (максимизация) значений риска (шанса) на интервале времени . Эта стратегия использует информацию о значениях функции полезности на всех дискретных временных шагах интервала . То есть при вычислении полезности для выбранного управляющего воздействия (или ) определяется значение средней ожидаемой полезности на всех шагах. При этом номер соответствующего шага вычисляется аналогично тому, как это было сделано в предыдущей стратегии:

После вычисления значения ожидаемой полезности для каждого решения по управлению (или ) выбирается то, для которого среднее значение функции полезности максимально.

Третьей стратегией управления является минимизация (максимизация) предельных значений риска (шанса). Эта стратегия опирается на свойство однородных цепей Маркова, в соответствии с которым после определенного номера шага устанавливается стационарный режим, то есть вероятности нахождения системы в определенном состоянии уже не зависят от номера шага и являются постоянными. Для того чтобы цепь Маркова могла переходить в такой режим, должны выполнятся следующие три свойства [24]:

1. Множество состояний данной цепи Маркова должно быть эргодическим (то есть из любого состояния i можно попасть в любое другое состояние j, даже если они не являются соседними).

2. Рассматриваемая цепь Маркова должна быть однородной (то есть вероятности перехода между состояниями не зависят от номера шага).

3. Цепь Маркова не должна иметь циклов.

Если для цепи Маркова выполняются данные свойства, то она называется эргодической. Если динамика развития исистемы в соответствии с моделью описывается эргодической цепью Маркова, то использование данной стратегии управления является возможным. Для определения наилучшего решения по управлению (или ) используются предельные значения функции полезности, то есть математическое ожидание ожидаемой полезности для системы в стационарном режиме:

где – вероятность соответствующая i-му состоянию в стационарном режиме.

Исходя из свойств эргодических цепей Маркова, получить значения вероятностей в стационарном режиме можно, решая систему линейных уравнений вида:

Более подробно с нахождением вероятностей стационарного режима можно ознакомиться в [24].

Аналогично предыдущим стратегиям, после того, как значения предельных значений функции полезности для каждого из управляющих воздействий (или ) найдены, выбирается такое, для которого ожидаемая полезность максимальна.

Четвертой стратегией управления является минимизация (максимизация)максимальных(минимальных) значений риска (шанса). Эта стратегия направлена на выбор такого управляющего воздействия, для которой минимальное значение функции полезности для всех состояний будет максимальным. То есть выбор воздействия подчиняется следующему правилу:

.

Первая стратегия обычно применяется в тех случаях, когда необходимо в процессе управления системой получить заданный уровень риска (шанса), и соответственно, ожидаемой полезности к какому-то определенному моменту времени, пренебрегая этим значением на других этапах. Вторая стратегия направлена на максимизацию полезности на определенном промежутке времени, и должна применяться в соответствующих ситуациях. Третья стратегия ориентирована на долгосрочное решение по управлению рисками (шансами), которое должно обеспечить сбалансированное функционирование системы в течение длительного периода. Четвертая стратегия применяется в тех случаях, когда нельзя пересекать критический порог для системы.