книги из ГПНТБ / Галушкин, А. И. Синтез многослойных систем распознавания образов

В случае применения описанного в предыдущем пункте преобразования Z сравнение a 2g, полученного по (5-14а), и R* (5-17) дает условие для их совпадения в следующем виде:

Преобразование, необходимое для получения дискрет­ ной ошибки, первый момент распределения которой был бы равен левой части (5-16), имеет следующие параметры:

в) Критерий минимума R при условии рхтг = а = const

Минимум R при условии равенства ругх — а, т. е. при условии

обеспечивается при минимизации функционала Лагранжа:

Сравнение (5-24) и (5-12а) дает выражения для коэффи­ циентов А, В, С данного преобразования, обеспечивающие равенство R* и a 2g:

С — ] / Рг^22 + 2pxlX2(1 + Я)—Pi/ц (1 + Я)— аЯ,;

А = — \ у Г(1 +Я) [Р2^11+ (Pi--Рг) ^I2l + P2^22---а Я +

+ У' P2^22+ 2pi/i2 (1 + Я)—р ^ и О + Я ) — а Я |; (5-25)

В = — l21—Pi^22 + (1 + Я) (2pi/18 —Pi/ц) —аЯ—

—Рг^22 + 2pi/i2 (1 + Я)—Pi/ц (1 + Я)— аЯ j .

Параметры Л j, Лх, Сх преобразования дискретной ошибки, делающие равными первый момент распределения (5-12) и левую часть (5-23), имеют следующий вид:

140

В случае применения к дискретной ошибке СР преобра­ зования Z равенство (5-24) и второго момента распределе­ ния (5-14а) обеспечивается при условии:

Определение градиента /?* по Я в данном случае произ­ водится в СР формированием дискретной ошибки xg (п),

первый момент распределения которой равен левой части (5-33). Параметры преобразования Z в этом случае полу­ чаются следующими:

Континуальные модели СР

Для континуальных моделей СР рассмотрим процедуру формирования функционалов вторичной оптимизации, со­ ответствующих критерию минимума средней функции риска, так как обобщение на другие критерии первичной оптимизации не представляет принципиальных затрудне­ ний.

Так же как и в предыдущем параграфе, вопрос форми­ рования функционала оптимизации решается для СР с про­ извольной структурой и иллюстрируется на конкретных структурах.

а) СР с континуумом решений; два класса образов

Преобразование дискретной ошибки в данном случае имеет следующий вид:

7г lxg(га)Ь е (п) = 1,

х'(п) =

Zi[xg(n)], e(n) = —1.

Отсюда распределение преобразованной ошибки имеет следующий вид:

dzr> (4)

+

dx„

+ P-J2*. 7 - 1 dZo

dx„

141

а выражение для второго момента данного распределения (после соответствующей замены переменных и при условии монотонности функций Zj и Z2)

В данном случае распределение дискретной ошибки для образов k-ro класса имеет следующий вид:

Отсюда после соответствующих преобразований и за­ мены переменных можно получить следующее выражение для второго момента распределения дискретной ошибки:

N

ОО

В частности, для ЛПЭ с континуумом решений с исполь­ зованием (5-8а) можно получить следующее:

142

В общем случае

N

00

a2g= J • • • I (Za [*g(x)]}api/i(x)dx +

N

оо

+ J • • • J {Z2[xg(x)]}2p J 2{x)dx.

Сравнение данного выражения с выражением для сред­ ней функции риска

N

ОО

Я = 1 • ■■J P i/i( x ) /i[ ^ = /:>(x )l+ p 2/2(x)/2[ ^ = P(x)]) dx

дает соотношения для преобразования дискретной ошибки необходимые для равенства a 2g и R:

Zi {Xg) = V li (— 1 — xg) ; Z2 (xg) = \ f l2(1 — Xg). (5-30)

6)CP с континуумом решений; континуум классов образов

Вданном случае

б ; К ) = /« « [ * - 'К .)] ^

Отсюда при условии монотонности функции Z (xg) сле­ дует, что

143

Отсюда и из (5-31) следует после соответствующей за­ мены переменных:

N

оооо

a 2g= I I • • • J (Z[e — Я(х)])2/(х | е)/е (е) de dx. (5-32)

—ОО — ОО

Вчастности, с учетом (5-7а) для ЛПЭ с континуумом решений

следует соотношение для преобразования дискретной ошибки, необходимого для равенства a 2g и

Из выражения (5-8а) следует выражение для распре­ деления преобразованной соответствующим образом ди­ скретной ошибки СР (ЛПЭ с К решениями) для образов

k-ro класса при xg= (& —k ) Ah

1k k

р

Отсюда

КК

° J V / .

144

Вслучае СР с произвольной структурой

кк

J fk (*)dx.

S ^p\x) >0

Из сравнения a 2g и R

кк

Ak k - T ± r V T7k- kpk k — kp

г) СР с N*-выходными каналами-, K f) градаций сигнала по каждому классу

В этом случае функция распределения дискретной ошибки для совокупности образов класса (klt . . . , kN,):

Применяем к вектору (x,g, . . . , xN, } следующее пре­ образование, необходимое для получения преобразованной дискретной ошибки xg (п). Умножаем вектор xg на скаляр

A [ k v . . . , kNt, klp, . . . , kNtp} и вычисляем сумму квад­

ратов компонент данного результирующего вектора. Ре­ зультат будет преобразованной дискретной ошибкой x'g (п).

В этом случае для совокупности образов всех классов

145

Сравнение данного выражения с R (гл. 2) дает соотно­ шение для параметров преобразования А в следующем виде:

Отсюда первый Момент данного распределения

146

После соответствующей замены переменных

{J , [в,. - Р , ( х ) ] 2} X

X f (х | е) /е (е) ds dx.

Из сравнения a lg с выражением для R в СР с N* выход­ ными каналами и континуумом решений следует уравнение для функций преобразования дискретной ошибки в сле­ дующем виде:

5-4. СР в режимах самообучения и при произвольной квалификации учителя

В случае решений выражение для средней функции риска в режиме самообучения имеет вид:

В случае СР с К ? решениями можно показать, что пре­ образование выходного сигнала СР xk, формирующее сиг­ нал x'k, первый момент распределения которого равен R,

определяется:

а в случае с произвольной квалификацией учителя

Выражения (5-35) и (5-36) справедливы также и для случая СР с континуумом решений.

Г л а в а ш е с т а я

РАЗРАБОТКА АЛГОРИТМОВ ПОИСКА ЭКСТРЕМУМА ФУНКЦИИ МНОГИХ ПЕРЕМЕННЫХ

6-1. Организация процедуры поиска экстремума функционала вторичной оптимизации в СР

В соответствии с принятой в работе методикой синтеза СР экстремум функционала вторичной оптимизации на­ ходится с помощью итерационных методов, с использова­ нием градиентной процедуры поиска в основном локального

147

экстремума. Рассматриваются вопросы анализа устойчи­ вости и сходимости градиентных процедур при отсутствии и наличии ограничений на переменные, а также возмож­ ность ускорения процессов поиска экстремума. В качестве ограничений на переменные настраиваемые коэффициенты рассматриваются ограничения типа равенств и неравенств, реально присутствующие как в случае реализации много­ слойных СР на аналоговых и цифровых вычислительных машинах, так и в случае рассмотрения нейронных ансамб­ лей.

Итерационные методы поиска экстремума функций мно­ гих переменных развиваются в основном в двух направ­ лениях. Первое направление включает поиск экстремума функций многих переменных на ЦВМ с построением стан­ дартных программ поиска. При этом вид функции и ее свойства задаются достаточно полно. В процессе исследо­ вания изучается в основном сходимость методов, иногда их точность в установившемся состоянии; динамике пере­ ходных процессов уделяется незначительное внимание.

Второе направление включает в себя построение алго­ ритмов настройки адаптивных систем. Здесь функция за­ дана в самом общем виде вследствие специфики задачи, заключающейся в необходимости работы системы в усло­ виях малой априорной информации о входном сигнале

[Л. 40, 41 ].

Система распознавания есть частный случай адаптив­ ной системы. Особенности построения адаптивных систем связаны с тем, что при неизвестных характеристиках вход­ ного сигнала [в случае СР — условной плотности /' (х/s) ] даже при фиксированной структуре разомкнутой СР ни­ чего нельзя сказать о виде функционала вторичной оптими­ зации, кроме того что он имеет несколько локальных экс­ тремумов, все или по крайней мере некоторые из которых должны быть найдены в процессе настройки по замкнутому циклу. Решить задачу оптимизации контура настройки многослойной СР в общем на этапе организации поиска экстремума функционала вторичной оптимизации нельзя. В процедуре поиска всегда остается степень субъективизма, это выражается, в частности, в выборе коэффициентов па­ раметрической матрицы системы поиска.

В связи с этим в гл. 8 основной упор делается на опти­ мизацию контура настройки многослойной СР при иссле­ довании замкнутой СР с оценкой качества по текущему зна­ чению функционала первичной оптимизации.

148

6-2. Анализ итерационного метода поиска экстремума функций многих переменных

Общее выражение для вычисления вектора состояния системы при поиске экстремума функции Y (а) в момент времени п + 1 по вектору состояния в п-й момент имеет следующий вид (для памяти системы поиска, равной еди­ нице):

а (п) —■вектор состояния системы (текущее значение ар­ гумента экстремальной функции); К* — [№ X А^° ] — мат­ рица коэффициентов; № — размерность вектора а.

Выбор коэффициентов матрицы К* определяет скорость

икачество сходимости итерационного метода.

Впроцедуру (6-1) вписываются известные методы по­ иска: сканирования, наискорейшего спуска, градиента, Гаусса—Зейделя, Розенброка, Пауэлла, Саусвелла и др.

Основной задачей является выбор ограничений на па­ раметры матрицы К* для обеспечения определенного ка­ чества системы поиска экстремума функции. Рассмотрим частный вид функции качества СР

I, / = 1, . . . , №.

Из (6-1) и (6-2) следует рекуррентное выражение для вычисления вектора состояния системы поиска в (п + 1)-й момент времени через вектор состояния системы в п-й мо­ мент времени в следующем виде:

Здесь Y — единичная матрица.

Определим, при каких значениях коэффициентов мат­ рицы К* итерационный процесс сойдется за один шаг из

149