книги из ГПНТБ / Галушкин, А. И. Синтез многослойных систем распознавания образов

так как случайная величина ф является определенной функцией

X [Xg (л), у (л)/а0 (л), х (л)] da0 dx.

Можно показать, что

Ооо

Ф [г (п)/а0 (л), х (л)] = J J / 4 {xg (л) + F [х (л) —

—оо z(ri)

Им

— а0(п)]/х(п)} 6 {у (л) — ф [х (л)—а„ (л)]} dy (л) dxg (л) +

О —оо

X б [у (л) — Ф[х (л) — а0 (л)]) ей/ (я) dxg (л).

210

Отсюда плотность вероятности величины L (п) относительно

211

Окончательно имеем:

+ f (* — £). * dx d£.

Это однородное интегральное уравнение Фредгольма второго рода. Оно решается в общем случае численными методами.

В выражении для fn + l [а„ (я + 1)] интегрируется неотрица­ тельная функция. Следовательно, /„ + i [«о ( « + ! ) ] > 0. При я = 0 очевидно, что

—00 —00

где а0 — заданное начальное значение порога. Предположим, что для fn [а0 (л) ]

00

J fn[at(n)da0(n)] = l.

—00

ОО

Покажем, что тогда J fn + 1 [aQ(п + 1 )] daQ(п + 1 ) = 1 ;

—00

=j /„+ 1[«0 (« + •)] dao(« + !) =

ОО^

2 /С*|ф [х (я) — а0(я)] |

212

Отсюда

ОО

Y° = JJJ fn К («)] / [e.(n), x (n)] de (n) da0 (n) dx (n) =

OO

JJ / [e (л), x (n)] de (л) dx (n) = I,

—00

по предположению

00

a J At [flo (я)] da0 (n) = 1 .

—00

Следовательно,

= const и N Ф 1, а.также для более сложных структур СР. Однако при этом резко возрастает сложность полученных выражений. Анализ данных выражений в явном виде, т. е. анализ качества на­ стройки СР в пространстве настраиваемых коэффициентов, вряд ли имеет смысл, особенно для случая многослойных СР. В данном случае необходимо переходить аналогично тому, как это было сделано в данной главе выше при настройке по разомкнутому циклу, к распределению вероятности правильного распознавания интегрированием по пространству настраиваемых коэффициентов. На наш взгляд, эта задача, достаточно сложная с математической точки зрения, может служить предметом самостоятельного рассмот­ рения. В данном случае можно записать, пожалуй, только общие выражения для математического ожидания и дисперсии средней функции риска аналогично тому, как это было сделано для Р Прав

в § 3-8:

А

Указанная выдше сложность аналитического исследования замкнутых СР с фиксированной структурой, настраивающихся по замкнутому циклу, приводит к необходимости применения для исследования указанных СР, в основном многослойных, методов статистического моделирования. Данному вопросу и посвящен представленный ниже материал.

213

8-5. Исследование ЛПЭ при многомодальном распределении входного сигнала

а) Одномерный случай; поисковый алгоритм настройки

Моделировался ЛПЭ с двумя решениями и минимиза­ цией a 2g. Структурная схема моделируемой СР представ­ лена на рис. 8-4. Исследовалась возможность построения

и глобального экстремумов функционала оптимизации. На рис. 8-5 представлены плотности распределения совокуп­ ностей образов первого и второго класса, а также зави­ симости для данного случая средней функции риска, точ­ нее, a 2g от порога а0, если ЛПЭ слева указывает область

где Ao0— амплитуда поисковых колебаний. Оценка da2g/da0 производилась усреднением по т реализаций входного

215

сигнала СР. Основной целью при моделировании являлась оценка влияния Да, К*, тп, а0 (0) на динамику контура настройки коэффициента а0 СР. Результаты моделирования на ЭВМ позволили сделать следующие выводы:

Рис. 8-6. Исследование влияния шага на динамику на­

1) поисковые колебания вполне применимы для по­ строения блока настройки СР по замкнутому циклу. Чем больше Да0 (в рассматриваемых пределах), тем больше точ­

216

ность работы контура настройки в установившемся состоя­ нии (рис. 8-6);

2)чем больше К*, тем меньше систематическая ошибка

итерационной процедуры поиска оптимального решения,

/ — т = 5; 2 — т = 10; 3 — т = 20.

но тем больше случайная ошибка указанной процедуры

(рис. 8-7); 3) чем больше тп, тем меньше случайные и больше ди­

намические ошибки контура настройки СР из-за введения

217

дополнительного запаздывания в контур обратной связи СР как экстремальной системы (рис. 8-8);

4) при любых начальных условиях а0 (0) (рис. 8-9) ите рационная процедура поиска оптимального решения схо­ дится к одному из локальных экстремумов. Результат ра­ боты алгоритма поиска всех локальных экстремумов с вве­ дением элементов случайности в процедуру поиска пред­ ставлен на рис. 8-10. На рисунке окружности сплошной линией обозначены линии равных значений плотности рас-

пределения для образов первого класса, пунктиром — вто­ рого. Общее число Z мод распределений для первого и вто­ рого класса равнялось 10; среднеквадратичное значение о, определенное для одной моды, равно 2.

б) Многомерный случай. Аналитический алгоритм на­ стройки

Аналитическая процедура настройки при многомодаль­ ных распределениях входного сигнала исследовалась на примере минимизации a 2g в ЛПЭ с континуумом решений (гл. 3) и арктангенсной характеристикой (В = 10).

Входе эксперимента были изучены следующие вопросы:

1.Влияние начальных условий на сходимость итера ционной процедуры при отыскании одного локального экс­ тремума.

218

2.Зависимость скорости сходимости итеративной про­ цедуры от величины шага и размерности пространства при­ знаков N. Вопрос устойчивости градиентной процедуры. Влияние величины дисперсии на качество сходимости ите­ рационного процесса.

3.Влияние способа вычисления градиента оптимизи­ руемого функционала на скорость сходимости и качество процесса поиска.

4.Влияние памяти (т„) системы на качество итера­ ционного процесса.

Заметим, что исследования проводились с помощью дат­ чика случайных векторов х и указаний учителя е. Много­ модальное распределение случайных векторов х в доста­ точно общем случае проиллюстрировано на рис. 8-11, где окружности обозначают уровни равных значений плотно­ стей вероятности Для каждой моды. Модальность распреде­ ления случайных векторов может быть задана любой, со­ ответствующей плану экспериментов.

Установить факт наличия устойчивости вектора коэффи­ циентов ЛПЭ в оптимальном состоянии — цель первого эксперимента. Для этого вектор коэффициентов ЛПЭ по­ лучал оптимальные начальные условия, соответствующие одному из локальных экстремумов (рис. 8-12 — положения 1 и Id), и начинался процесс обучения. Начальные 1 и 1а и конечные Г и 1а' положения гиперплоскостей говорят об устойчивости ее экстремального положения, соответствую­ щего одному из минимумов средней функции риска. Коле­ бания относительно устойчивого положения обусловлены стохастичностью минимизируемого функционала качества СР. Плавность этих колебаний тем больше, чем больше па­ мять системы и чем меньше модальность (число мод) рас­ пределений входного сигнала, используемого при обучении. При отклонении от оптимальности положения с поворотом 3 и без поворота 2 гиперплоскость приходит в ближайший локальный минимум 2' и 3', поворачиваясь, и уменьшая при перемещении ошибку. На рис. 8-12 показаны началь­ ные 1, 2, 3, 4 и конечные Г, 2', 3’, 4' положения разделяю­ щих плоскостей для различных начальных условий. Ди­ намика настройки коэффициентов этих прямых проиллю­ стрирована на рис. 8-13. Здесь оказалось удобным восполь­ зоваться уравнением прямой (гиперплоскости в общем слу­ чае) в отрезках и следить (рис. 8-13) за изменением этих отрезков в процессе настройки. На рис. 8-13 видно, что при оптимальных начальных условиях (/, 2) система испы-

(1219