книги из ГПНТБ / Галушкин, А. И. Синтез многослойных систем распознавания образов

В частном случае ограничений типа неравенств, зада­ ваемых соотношениями (6-13а), qi(a 0;

а —а

Ча(а): ,— а < 0 ; q (а) =

6-5. Алгоритм случайного поиска локальных и глобального экстремумов функций многих переменных

Пожалуй, единственной причиной введения случайно­ сти в процедуру поиска экстремума функционала вторич­ ной оптимизации СР является многомодальность распреде­ лений входного сигнала, которая при заданной структуре разомкнутой СР приводит к многоэкстремальности функ­ ции качества СР. Наиболее полное освещение методы слу­ чайного поиска нашли в работах Л. А. Растригина, в ча­ стности в его монографии [Л. 28].

Нашей задачей является поиск всех локальных мини­ мумов многоэкстремального функционала ошибки СР, и, если это необходимо, выбор из них глобального минимума. Именно поэтому применительно к СР был разработан ме­ тод случайного поиска локальных и глобального экстрему­ мов функций многих переменных. Опишем один цикл ра­ боты данного алгоритма:

а) случайным образом выбирается значение вектора переменных функции, экстремум которой ищется. Само собой разумеется, что данный вектор располагается в об­ ласти одного из локальных экстремумов;

б) одним из изложенных выше методов неслучайного поиска находится локальный экстремум, в области которого расположен вектор переменных, выбранный на первом этапе;

в) величина экстремума и соответствующее ему значе­ ние вектора переменных, найденных на втором этапе, срав­ ниваются с содержимым памяти. При отсутствии в памяти указанных характеристик локального экстремума послед­ ние запоминаются;

г) производится переход к первому этапу (п. «а»). Результаты экспериментального исследования данного

алгоритма при многомодальных распределениях входного

160

сигнала и СР типа одномерного и многомерного ЛПЭ при­ водятся в гл. 8. Ниже рассматривается задача анализа схо­ димости данного алгоритма случайного поиска по числу экстремумов функции. В принципе можно рассмотреть ал­ горитм случайного поиска, исключающий из области слу­ чайного задания вектора начальных условий те подобласти, которые соответствуют уже найденным локальным экстре­ мумам. Это, несомненно, ускорит сходимость алгоритма случайного поиска по числу экстремумов.

Произведем анализ сходимости алгоритма случайного поиска локальных и глобального экстремумов функций. Пусть найдено i мод (0 — 1). Вероятность того, что на следующем шаге мы попадаем в область этих i мод, равна UU при равномерном распределении мод в простран­ стве поиска. Распределение случайной величины равной числу шагов случайной процедуры поиска от нахождения i-й моды до нахождения (i -\- 1)-й моды включительно, имеет

Процедура случайного поиска производится независимо на каждом шаге. Введем в рассмотрение новую случайную

роятностью, равной единице. Вероятность такого события

где P (rjy = s + U) — вероятность того, что U мод будут найдены за (s + U) шагов случайной процедуры поиска. Можно показать, что среднее значение и дисперсия числа шагов случайной процедуры поиска, необходимых для нахождения £/_мод, могут быть представлены следующими выражениями:

U— 1

1 + U [In (I/ — 1) + 0,577];

Г=1

\ (6-16а)

2U2— U [1п(£/—1) +

г=1 + 0,577 . . .].

Анализ данных выражений показывает достаточную скорость сходимости рассматриваемой процедуры поиска для задач распознавания образов. В принципе, как пока­ зано выше, процедура может быть обобщена на случай, когда область найденной моды исключается из области случайного поиска, что еще более ускорит сходимость случайной процедуры поиска. Приведенные" выше соотно­ шения верны и для многомерного случая.

6-6. Построение алгоритмов адаптации в многослойных СР с использованием оценок

производных второго порядка функционала вторичной оптимизации

В этой главе рассматривается построение алгоритмов адапта­ ции в многослойных СР с использованием оценок производных одновременно и первого и второго порядка функционала вторичной оптимизации. Основное внимание уделяется алгоритмам поиска экстремума функционала с учетом вторых производных и выводу выражений для оценок вторых производных функционала через теку­ щие сигналы в системе.

162

а) Построение алгоритмов поиска

Рассмотрим задачу поиска экстремума в виде эквивалентной задачи нахождения корня следующей системы уравнений:

При рассмотрении системы, заданной неявно

и удовлетворяющей второй теореме Юнга, существуют такие

что при их подстановке в (6-18) получаются тождества. Разложим

функции {уъ . . . . уц), . . ., Fn (г/!,. . . , ys) в РЯД Тэй" лора, ограничившись двумя членами

N

F1 (Q) = F1 ( y ) - ^ F ' lyi(y)yl +

Дифференцированием (6-18) с учетом (6-19) получаем следую­ щую систему уравнений:

164

Из (6-20) следует:

a = x - W ~ ' D + — W ~ lC.

2!

Отсюда следует общее выражение для алгоритма поиска экс­ тремума функции многих переменных при наличии матрицы произ­ водных второго порядка

165

Г л а в а с е д ь м а я

ПОСТРОЕНИЕ ЗАМКНУТЫХ СР

7-1. Постановка задачи

Как указывалось в гл. 5, выбор функционала вторичной оптимизации производится на основании заданных в общем виде характеристик входного сигнала, критерия первичной оптимизации и структуры разомкнутой СР. В процессе выбора функционала в системе распознавания были сфор­ мированы сигналы, моменты распределения которых со­ ответствуют или равны некоторым функционалам первичной оптимизации.

Замкнутая СР представляет собой разомкнутую СР с включенным блоком настройки. Построение замкнутых СР производится на основании выбранного критерия вто­ ричной оптимизации и метода поиска экстремума данного функционала. В качестве функционалов вторичной опти­ мизации были рассмотрены функционалы, связанные с мо­ ментами аналоговой и дискретной ошибок СР. В процессе построения замкнутых систем производится синтез блока вычисления параметров функционала качества СР, необ­ ходимых для организации процесса итерационного поиска. При этом основная задача заключается в том, чтобы оце­ нить вектор градиентов функционала вторичной оптимиза­ ции. Решить эту задачу можно двумя путями: поисковым, когда для организации итерационного процесса движения

166

к экстремуму функционала качества значения или знаки производных определяются в результате воздействия на систему и обработки результатов воздействия поисковых колебаний; нахождением оценки вектора градиентов в виде аналитического выражения через промежуточные и выход­ ные сигналы СР.

Впервом случае имеют дело с поисковой СР, во втором—

саналитической. Естественно, предпочтительнее построе­

ние СР в виде аналитических систем, настраивающихся по замкнутому циклу, так как введение поисковых коле­ баний вносит дополнительные шумы в систему. Однако построение СР в виде аналитической системы не всегда воз­ можно. Если в системе нельзя выделить сигнал, характе­ ризующий градиент функционала оптимизации, то необхо­ димо использование поисковых колебаний.

Ниже рассматриваются системы распознавания раз­ личных типов: ЛПЭ с двумя решениями на два класса обра­ зов, ЛПЭ с /Ср решениями на К классов образов, ЛПЭ с кон­ тинуумом решений и континуумом классов образов, много­ слойные СР из ЛПЭ с континуумом решений при наличии и отсутствии ограничения на настраиваемые коэффициенты, многослойные СР с М*-мерными сигналами е (п) и xk (п), многослойные СР с перекрестными и обратными связями.

Методика построения методологически просто обоб­ щается на случай нестационарных образов, когда функ­ ционал вторичной оптимизации зависит от времени, а реа­ лизация вектора градиентов есть реализация нестационар­ ного многомерного случайного процесса. Это свойство гра­ диента определяет методику построения многомерного фильтра в блоке настройки СР.

Отдельного внимания требует вопрос построения много­ слойных СР в режимах самообучения и произвольной ква­ лификации учителя. Методология построения замкнутых СР здесь та же, что и в режиме обучения.

Построение алгоритма настройки СР по замкнутому циклу производится подстановкой выражения для оценки вектора градиента функционала в соответствующую фор­ мулу для поисковой процедуры.

7-2. ЛПЭ с двумя и континуумом решений

Для ЛПЭ с двумя решениями ниже рассматриваются четыре функционала вторичной оптимизации | а 1о|, а 2а, l a lg | , a 2g. Выражение для модуля оценки первого момента

167

аналоговой ошибки имеет следующий вид

Рекуррентное выражение, являющееся основой по­ строения ЛПЭ, настраивающегося по замкнутому циклу, имеет следующий вид:

Выбор параметров матрицы К* является в конечном итоге задачей анализа и синтеза замкнутых СР. Однако уже на данном этапе можно наложить на ее вид определен­ ные ограничения. Эти ограничения могут определяться, исходя из задания конкретного вида градиентной итера­ ционной процедуры (Ньютона, Гаусса—Зейделя, Саусвелла и пр.). В [Л. 40, 41 ] эти ограничения определяются для метода стохастической аппроксимации. Можно потре­ бовать сходимости итерационной процедуры к экстремуму

= /<2*2 = 0.

Выбор величины тп в выражении

i= n—т„

п

также является задачей анализа и синтеза замкнутых СР. Здесь необходимо отметить следующее. Уменьшение тп, с одной стороны, приводит к повышению уровня шумов измерения градиента функционала вторичной оптимизации с другой стороны, уменьшает запаздывание в контуре на­

168

стройки по замкнутому циклу.

В случае минимизации второго момента аналоговой ошибки

даI

а (л + 1) = а (л)— 2ЛД ха(л) х (л)

При минимизации модуля первого момента дискретной ошибки СР

Для поиска экстремума можно использовать информа­ цию о знаке первой производной, о величине первой произ­ водной, о величине первой производной и знаке второй,

овеличинах первой и второй производной и т. д.

Вданном случае величину первой производной опреде­

169