5335

21

{а} – множество всех возможных операций; {θ} – множество всех возможных состояний;

{е} – множество всех возможных экспериментов; {х}, {у} – множества всех возможных результатов эксперимента е;

u (a, θ, e, x), u (a, θ, e, y) – функции полезности, зависящие от 4 аргументов

(операции а, состояния θ, эксперимента е и значения х или у этого эксперимента);

P(θ) – априорная вероятность состояния θ;

P(х/θ,е) – вероятность получения результата х при проведении эксперимента е для случая, когда состояние есть θ.

Компания отправляет своего сотрудника в служебную командировку:

а1 – отправить сотрудника самолётом;

а2 – отправить сотрудника поездом.

Обозначим через θ1 – преобладание значимости временных ресурсов над финансовыми, а через θ2 – преобладание значимости финансовых ресурсов над временными.

Матрица проигрыша (в рублях) (таблица 2):

Таблица 2 − Матрица проигрыша

Для общности один из элементов множества {е} будем считать «Не проводить эксперимент». Его назовём нулевым экспериментом и обозначим через е0. Неопределённый результат нулевого эксперимента обозначим через х0.

Априорные вероятности: P(θ1) = 0,35; P(θ2) = 0,65.

Некоторую информацию, касающуюся значимости командировки сотрудника, можно получить, опросив руководящий состав компании, заказав аналитику финансовый прогноз на извлечение прибыли из данной командировки.

22

Обозначим через е1 – эксперимент №1: «Проведение опроса руководящего состава компании», а его результаты через х1 и х2, где х1 – прогноз: отправить сотрудника самолетом, х2 – прогноз: отправить сотрудника поездом.

Стоимость эксперимента №1 составляет 1 000 рублей. Известны вероятности этих прогнозов (таблица 3):

Таблица 3 − Вероятности прогнозов первого эксперимента

Обозначим через е2 – эксперимент №2: Заказать проведение финансового прогноза на извлечение прибыли из служебной командировки аналитику. После этого имеем:

у1 – прогноз: отправить сотрудника самолетом; у2 – прогноз: отправить сотрудника поездом;

у3 – прогноз: из-за недостатка информации прогноз не известен. Стоимость эксперимента №2 составляет 2 000 рублей.

По мнению эксперта, вероятности этих прогнозов составляют (таблица 4):

Таблица 4 − Вероятности прогнозов второго эксперимента

Чтобы выбрать оптимальное решение исходя из этих данных, поступаем следующим образом:

I. По формуле Байеса:

P( / e, x) P(x / ,e) P( ),

P(x / e)

где P(x / e) – условная вероятность, определяемая по следующей формуле

P(x / e) P(x / , e) P( ),

для каждой комбинации (θ, е, х) вычисляем апостериорную вероятность P(θ/e,x):

23

P(x0 / e0 ) 1 0,35 1 0,65 1;

P(x1 / e1 ) P(x1 / 1e1 ) P(1 ) P(x1 / 2 e1 ) P(2 ) 0,58 0,35 0,42 0,65 0,475;

II. По формуле

U (a,e, x) P( / e, x) U (a, ,e, x)

для каждой комбинации (а, е, х) находим среднюю полезность:

U (a1 , e0 , x0 ) 0,35 18300 0,65 21600 20445; U (a2 , e0 , x0 ) 0,35 19700 0,65 16800 17815;

U (a1 , e1 , x1 ) 0,427 17300 0,573 20600 19190,9;

U (a2 , e1 , x1 ) 0,427 18700 0,573 15800 17038,3;

U (a1 , e1 , x2 ) 0,27617300 0,724 20600 19689,2;

U (a2 , e1 , x2 ) 0,27618700 0,72415800 16600,4.

III. Для каждой комбинации (е, х) определяем оптимальную операцию U* из условия:

U (e, x) U (a*,e, x) maxU (a,e, x) .

U

U (e0 , x0 ) 20445

U (e1 , x1 ) 19190,9

U (e1 , x2 ) 19689,2

Следовательно для всех этих трёх значений оптимальной является а1.

IV. По формуле

U (e) P(x / e) U (e, x)

x

для экспериментов е0 и е1 определяем среднюю полезность:

U (e0 ) 1 20445 20445;

U (e1 ) 0,475 19190,9 0,525 19689,2 19452,507.

24

V. Для определения апостериорных вероятностей при проведении второго

эксперимента из таблицы 3 и таблицы 4 находим таблицу 5:

Таблица 5 − Априорные вероятности для двух экспериментов

Таблица 5 соответствует одному, но более сложному эксперименту, объединяющему в себе оба рассмотренных простых эксперимента.

Исходя из априорных вероятностей: P(θ1) = 0,35 и P(θ2) = 0,65,

таблицы 5 и формулы Байеса

VI. Для каждого результата хi, yj объединённого эксперимента определяем согласно формулам

25

Uij (a1 ) P(1 / xi , y j ) a11 P(2 / xi , y j ) a12 и

Uij (a2 ) P(1 / xi , y j ) a21 P(2 / xi , y j ) a22

средние полезности :

U11 (a1 ) 0,636 15300 0,364 18600 16501,2; U12 (a1 ) 0,32 15300 0,68 18600 17544;

U13 (a1 ) 0,314 15300 0,686 18600 17563,8; U11 (a2 ) 0,636 16700 0,364 13800 15644,4; U12 (a2 ) 0,32 16700 0,68 13800 14728;

U13 (a2 ) 0,314 16700 0,686 13800 14710,6;

.

U 21 (a1 ) 0,473 15300 0,527 18600 17039,1; U 22 (a1 ) 0,19415300 0,80618600 17959,8; U 23 (a1 ) 0,36215300 0,63818600 17405,4; U 21 (a2 ) 0,473 16700 0,527 13800 15171,7; U 22 (a2 ) 0,19416700 0,80613800 14362,6; U 23 (a2 ) 0,36216700 0,63813800 14849,8

VII. Выбираем оптимальную стратегию:

При этом для соответствующей средней полезности имеем:

P(xi , y j ) max[Ui, j (a1 );U i, j (a2 )] 0,166 16501,2 0,198 17544 0,108 17563,8

i, j

0,161 17039,1 0,236 17959,8 0,165 17405,4 17963,484.

IIX. Наконец из условия

U (e*) maxU (e)

e

находим оптимальный эксперимент:

U (e*) max[20445; 19452,507 ;17936,484] 20445

e

Таким образом, е*= е0. Поскольку в исходной матрицы были заданы проигрыши,

то для данной задачи минимальные издержки будут соответствовать е2, то есть проведение эксперимента в данном случае оправдано. В примере байесовский подход уточнения априорных вероятностей используется одновременно с экономическим критерием максимальной выгоды. В данном случае выгодно проводить эксперименты.

26

2.3. Лабораторная работа 3

Тема: Изучение свойств линейного нейрона и линейной нейронной

сети

Цель работы – изучить свойства линейного нейрона.

Теоретические сведения

Элементарной ячейкой нейронной сети является нейрон. Структура нейрона с единственным скалярным входом показана на рисунке 11,а.

а б

Рисунок 11 − Простой нейрон Скалярный входной сигнал р умножается на скалярный весовой

коэффициент w, и результирующий взвешенный вход w*p является аргументом функции активации нейрона, которая порождает скалярный выход а.

Нейрон, показанный на рисунке 11,б, дополнен скалярным смещением b.

Смещение суммируется с взвешенным входом w*p и приводит к сдвигу аргумента функции на величину b. Действие смещения можно свести к схеме взвешивания,

если представить что нейрон имеет второй входной сигнал со значением, равным

1. Вход n функции активации нейрона по-прежнему остаётся скалярным и равным сумме взвешенного входа и смещения b. Эта сумма является аргументом функции активации f; выходом функции активации является сигнал а. Константы w и b

являются скалярными параметрами нейрона. Основной принцип работы нейронной сети состоит в настройке параметров нейрона с тем, чтобы функционирование сети соответствовало некоторому желаемому поведению. Регулируя веса или параметры смещения, можно “научить” сеть выполнять конкретную работу;

возможно также, что сеть сама будет корректировать свои параметры, чтобы достичь требуемого результата.

Уравнение нейрона со смещением имеет вид

27

a = f(w*p+b*l).

Как уже отмечалось, смещение b – настраиваемый скалярный параметр

нейрона, который не является входом, а константа 1, которая управляет смещением, рассматривается, как вход и может быть учтена в виде линейной

самый разнообразный вид. Функция активации f, как правило, принадлежит классу сигмоидальных функций с аргументом n и выходом а.

Ниже рассмотрены три наиболее распространённые функции активации.

Единичная функция активации с жестким ограничениям hardlim. Эта функция описывается соотношением а = hardlim(n) = 1(n) и показана на рисунке 12. Она равна 0, если n < 0, и 1,если n >= 0.

ограничениями.

Линейная функция активации purelin. Эта функция описывается соотношением, а = purelin(n) = n и показана на рисунке 13.

28

Рисунок 13 − Линейная функция активации purelin

Логистическая функция активации logsig. Эта функция описывается соотношением а = logsig(n) = 1/(1 + ехр(-n)) и показана на рисунке 14. Она принадлежит к классу сигмоидальных функций, и её аргумент может принимать любое значение в диапазоне от до , а выход изменяется от 0 до

1. В пакете ППП Neural Network Toolbox она представлена М-функцией logsig.

Благодаря свойству дифференцируемости эта функция часто используется в сетях с обучением на основе метода обратного распространения ошибки.

Рисунок 1 4 − Функция logsig

Символ в квадрате в правом верхнем углу графика характеризует функцию активации. Это изображение используется на структурных схемах нейронных сетей.

В пакет ППП Neural Network Toolbox включены и другие функции активации. Используя язык MATLAB, пользователь может создавать и свои собственные уникальные функции.

Нейрон с одним вектором входа р с R элементами p1 , p2 ,..., pR показан на рисунке 15. Здесь каждый элемент входа умножается на веса w11 , w12 ,..., w1R

29

соответственно, и взвешенные значения передаются на сумматор. Их сумма равна скалярному произведению вектора-строки W на вектор входа р.

Рисунок 15 − Функциональная схема нейрона

Нейрон имеет смещение b, которое суммируется с взвешенной суммой входов. Результирующая сумма n определяется как

n w11 p1 w12 p2 ... w1R pR b

и служит аргументом функции активации f. В нотации языка MATLAB это выражение записывается так:

n = W*p + b.

Структура нейрона, показанная на рисунке 15, содержит много лишних деталей. При рассмотрении сетей, состоящих из большого числа нейронов, будет использоваться укрупнённая структурная схема нейрона (рисунок 16).

Вход нейрона изображается в виде темной вертикальной черты, под которой указывается количество элементов входа R. Размер вектора входа р указывается ниже символа р и равен Rxl. Вектор входа умножается на вектор-строку W длины

R. Как и прежде, константа 1 рассматривается как вход, который умножается на скалярное смещение b. Входом n функции активации нейрона служит сумма смещения b и произведения W*p. Эта сумма преобразуется функцией активации f, на выходе которой получается выходная величина нейрона а, которая в данном случае является скалярной величиной. Структурная схема, приведённая на рисунке

30

16, называется слоем сети. Слой характеризуется матрицей весов W, смещением b,

операциями умножения W*p, суммирования и функцией активации f. Вектор входов р обычно не включается в характеристики слоя.

Рисунок 16 − Структурная схема нейрона

Каждый раз, когда используется сокращённое обозначение сети, размерность матриц указывается под именами векторно-матричных переменных. Эта система обозначений поясняет строение сети и связанную с ней матричную математику.

Градиентными алгоритмами обучения являются:

GD – алгоритм градиентного спуска;

GDM – алгоритм градиентного спуска с возмущением;

GDA – алгоритм градиентного спуска с выбором параметра скорости настройки;

Rprop – пороговый алгоритм обратного распространения ошибки;

GDX – алгоритм градиентного спуска с возмущением и адаптацией параметра скорости настройки.

Алгоритмами, основанными на использовании метода сопряжённых градиентов,

являются:

CGF – алгоритм Флетчера–Ривса; CGP – алгоритм Полака–Ребейры; CGB –

алгоритм Биеле–Пауэлла;

SCG – алгоритм Молера.

Квазиньютоновскими алгоритмами являются: