книги из ГПНТБ / Галушкин, А. И. Синтез многослойных систем распознавания образов

любого начального состояния. Значение вектора а (1), обеспечивающего в данном случае экстремальное значение, определяется следующим образом:

Подставляя данное выражение в (6-3), получаем выра­ жение для-искомой оптимальной матрицы К*-

Система, обеспечивающая на я-м шаге переход в (я + 1)-ю точку, называется устойчивой, если значение функции в (я + 1)-й точке меньше, чем в я-й точке. Соот­ ветственно автоколебательной или неустойчивой называется система, у которой последующие значения функции равны или больше предыдущих:

Решение данной системы требует применения ЦВМ. При рассмотрении конкретных методов поиска экстремума, а следовательно, и конкретных видов матрицы К* необхо­ димо проверять условия удовлетворения данной матрицей соотношения (6-4) для обеспечения устойчивости системы поиска.

Определим нерекуррентное выражение для а (я). Из (6-3) следует:

а (1) = К*В + (Y + 2АК*) а (0);

а (2) = К*В + (Y + 2АК*) К*В + {Y + 2АК*? а (0);

а (3) = К*В + (7 + 2АК*) К*В + (Y + 2АК*)2 К*В +

+ (У + 2К*Л)3а(0).

По индукции

а (я) = [У + (Y + 2К*А) + . . . + (Y + 2К*А)п~х] К*В +

+ (Y + 2K*A)na(0).

150

Учитывая, что

У + (У + 2К* А) + .. . + (У + 2К*А)п~х*=

X (К*A y 1К *В .

Отсюда получаем окончательное нерекуррентное выра­ жение для вектора состояния системы поиска

что соответствует экстремальному значению функции. Путем анализа нерекуррентной формулы получим огра­

ничения на параметры матрицы К*, обеспечивающие схо­ димость итерационного процесса поиска.

Из (6-5) следует, что

lim a(n) = — А~ХВ,

П-.оо 2

т. е. не зависит от а (0) и равен экстремальному значению вектора состояния при

limJ(y + 2/CM)" = 0 ,

п->оо

где О — нулевая матрица (У, А). Это выражение можно использовать для доказательства сходимости системы по­ иска. В [Л. 64] приводится также вывод выражения для матрицы К*, удовлетворяющей условию автоколебатель­ ности процесса поиска.

О методе стохастической аппроксимации

Метод стохастической аппроксимации реализуется системой поиска, аналогичной градиентной, но имеющей переменные пара­ метры (матрицу К*) [Л. 40, 41 ]. Метод стохастической аппрокси­

151

мации как частный градиентный метод поиска применяется при на­ личии случайных ошибок измерения вектора градиента мини­ мизируемой функции. Именно наличие указанных случайных ошибок делает необходимым введение переменности параметров системы поиска с целью обеспечения нулевой случайной ошибки определения точки экстремума. Недостатки этого метода поиска совершенно справедливо отмечаются в работе А. Г. Ивахненко [Л. 14] в плане увеличения систематических ошибок в переход­ ном процессе поиска точки экстремума.

В излагаемой в данной работе методике синтеза СР применение метода стохастической аппроксимации возможно наряду с другими методами поиска, в частности с постоянными параметрами. При этом построение замкнутых СР (гл. 7) производится в любом случае при некоторой неопределенности в задании матрицы К*, которая ликвидируется лишь на этапе исследования замкнутых СР (гл. 8). Вопрос об оптимальном (по критериям первичной оптимизации) выборе параметров матрицы К* здесь будет являться некорректно поставленным, так как вид минимизируемой функции нам заранее не известен.

6-3. Итерационные методы поиска экстремума функций многих переменных при наличии ограничений типа равенств на переменные

В общем виде ограничения типа равенств на настраи­ ваемые коэффициенты СР записываются в следующем виде:

;=о

т. е. ограничения на сумму коэффициентов,

а) Алгоритм поиска

В данном случае задача минимизации функции качества Y (а) СР решается путем составления функции Лагранжа

тор-функция ограничений.

Решение задачи минимизации сводится к решению:

152

ц з (6-7) следует рекуррентное соотношение, являющееся основой для алгоритма поиска

В этом случае система поиска может быть представлена эквивалентной дискретной системой с параметрическими матрицами Kla. Ям> Ям> Я м - Учитывая (6-7), можно записать окончательное выражение для алгоритма поиска в следующем виде:

+Ям (п) Ч (а) |а а(п)-

Вслучае ограничений типа (6-6)

№

+ К1х (л) 2 O-i (л) — О, (=0

153

б) Анализ матрицы вторых производных функции Лагранжа

в) Оптимальность по быстродействию итерационной про­ цедуры поиска экстремума при ограничениях типа равенств

При использовании метода Ньютона для минимизации функции Лагранжа оптимальность по быстродействию обе­ спечивается при условии

Можно показать, что условием существования матрицы, обратной матрице вторых производных функции Лагранжа,

где Н = —QTА\ 'Q, А х= 2А. Отсюда следуют выражения для матриц Каа(п), Ках(п), К%а(п), Kh(n), обеспечиваю-

щих оптимальность процедуры поиска по быстродействию.

154

№

«/=2i=0a ijt j =0, .• •*№ .

Следует отметить, что при любой априорной информа­ ции о матрице А матрица Каа отлична от (—А~*) и даже при диагональной матрице А является недиагоналыюй. Матрица К%% имеет следующий вид:

К1ж = Н~' = -

иА

т .е. при наличии одного ограничения оптимальная вели­ чина Кхх определяется лишь суммой элементов матрицы ЛГ1 по строкам и столбцам. В данном случае

К*ах= AT'QH-1= ATlQ(-QrAT'Q)-1= ATlQ( — ^ =

_ i Г «о

В данном случае при любой априорной информации о

матрице А матрица К*а%не равна нулевой матрице, т. е. перекрестные связи в алгоритме поиска присутствуют. В этом плане необходимо отметить неточность, допущенную

в работе [Л. 40], где К*ах (п) = 0.

д) Случай ограничений типа равенств, решаемых относи­ тельно переменных

При рассмотрении ограничений на переменные вида

QoM, ■

155

линейность ограничений позволяет решить равенства от­ носительно М г переменных, т. е. выразить коэффициенты а0, . . . , ам через остальные (№ + 1— перемен­

Данное выражение подставляется в Y (а) и экстремум результирующей функции (№ + 1 — М х) переменных ищется изложенным выше методом. При этом определяются оптимальные значения (№ + 1 — М г) переменных. Опти­ мальные значения М х переменных определяются по (6-9). При соблюдении условия (6-6) выражение (6-9) принимает

вид:

№

а0 = а —

t=i

е) Устойчивость итерационного процесса при ограниче■ ниях типа равенств

Процесс поиска будем считать устойчивым, если на каж­ дом шаге значение функции Лагранжа уменьшается, т. е.

Раскладывая Y (у) в ряд Тейлора в окрестности точки у (п— 1) и пренебрегая членами порядка выше второго, получаем:

Здесь через Д обозначен вектор-приращение переменных. Учитывая (6-10), получаем условие устойчивости

156

Итерационная процедура на каждом шаге поиска дает следующее приращение:

Подставляя (6-12) в (6-11) после соответствующих пре­ образований получаем:

Отсюда следует, что достаточным условием устойчивости является отрицательная определенность матрицы

Эта матрица связывает параметры функции Лагранжа и параметры матрицы /С* системы поиска.

ж) Сходимость итерационного метода поиска при ограни­ чениях типа равенств

Сходимость процесса поиска будет рассмотрена для слу­ чая квадратичной функции. В этом случае Y (аХ) = агЛ a -f- -{- В a -j- С-|- X Qa;

В данном случае

у(п) = у ( п — \) + К* (п — 1) [Ау(п— 1) + В].

Как и ранее, можно записать нерекуррентное соотноше­ ние для обобщенной переменной состояния

Y (n) = [Y + К*А]п у (0) + [(Y + K*A)n — Y] А~'В.

Подстановка Y (п) = А~1В в (6-13) показывает, что вектор-градиент функции Лагранжа обращается в нуль,

157

6-4. Итерационные методы поиска экстремума функций многих переменных при наличии ограничений типа неравенств на переменные

Указанные ограничения в СР возникают из-за ограни­ ченности пределов изменения настраиваемых коэффици­ ентов и записываются в следующем виде qц (а) Д 0 (ц -~

= 1, ■• • , М 2).

В основном в СР имеют место ограничения частного вида

ск— аМакс<0;

(6-13а)

^мин &1 0.

В частном случае при построении СР на реальных фи­ зических элементах возможны следующие случаи:

^макс^О» ймин = 0,

^макс а) Условия оптимальности

Условия оптимальности в данном случае даются теоре­ мой Куна—Такера, которая представляет собой обобщение метода Лагранжа на случай ограничений типа неравенств. В соответствии с теоремой Куна—Такера оптимальный век­ тор а, доставляющий минимум выпуклому функционалу, является решением следующей системы уравнений и не­ равенств:

(6-14)

1 Xr 5 = 0, S > 0 .

Выражение для матрицы Q здесь сохраняется прежним

158

Неравенства 3 ^ 0 и Х>, 0 означают, что все компо­ ненты этих векторов неотрицательны. Кроме того, предпо­ лагается, что ограничения таковы, что существует вектор а, для которого соблюдается соотношение (а) <0. Условия (6-14) имеют следующий физический смысл. Если для оп­

Таким образом, множители Лагранжа можно интер­ претировать как некоторые оценки влияния ограничений на оптимальное значение вектора настраиваемых коэффи­

б) Алгоритм поиска экстремума при наличии ограничений типа неравенств

Из условий оптимальности (6-14) получаем систему со­ отношений для итерационной процедуры поиска экстре­ мума при ограничениях типа неравенств

X=X (n)

+ Kxx in) q (a) Iа—а (л)) •

159