книги из ГПНТБ / Галушкин, А. И. Синтез многослойных систем распознавания образов

и отдельно для совокупностей образов первого и второго класса

Из данных выражений достаточно просто получить со­ ответствующие выражения для частных случаев, а именно:

— 1, g < — Aa.

Анализ разомкнутого ЛПЭ с К решениями

Совместный закон распределения вероятностей вход­ ного сигнала системы распознавания К классов образов в режиме обучения имеет вид:

( Pifi(x) при е = 1,

fix, е )= ..................................

( Рк/к (х) при е = К.

В данном случае

**(") = fep ПРИ X -i,k p<g(n)<akp,kp+l

{а к , к +1= 0°* a oi = — °°)-

Для совокупности образов К -го класса

N—1

130

Распределение аналоговой ошибки СР в данном случае будет:

Распределение дискретного выходного сигнала СР рас­ сматриваемого типа для совокупности образов k-то класса может быть получено в следующем виде:

Выражения для моментов r-го порядка распределений аналоговой и дискретной ошибок СР могут быть представ­ лены в виде:

131

Анализ CP с нелинейной разделяющей поверхностью

В гл. 4 было указано, что СР с нелинейной разделяющей по­ верхностью может быть представлена эквивалентной СР, состоящей из безынерционного слоя нелинейных преобразований и ЛПЭ. Если слой нелинейных преобразований формирует из компонент вектора

= X; ■ . . . ■ xt , то можно показать, что плотность распределения

выходного сигнала данного слоя может быть представлена через

132

плотность распределения f, (х) входного сигнала следующим обра­ зом:

Выражение для второго момента распределения дискретной ошибки рассматриваемой нелинейной СР имеет следующий вид:

определяет линейную разделяющую поверхность в исходном про­ странстве признаков. Определим, как изменяется вид разделяющей поверхности в исходном пространстве признаков при увеличении порядка г нелинейного преобразования. В случае преобразования второго порядка:

£>=1

133

Отсюда следует, что в случае г = 2 эквивалентная разделяю­ щая поверхность в исходном пространстве признаков будет поверх­ ностью второго порядка с коэффициентами, однозначно определяе­ мыми по коэффициентам выходного ЛПЭ СР со слоем нелинейных преобразований. В случае преобразования г-го порядка:

N

гN

у

Этим доказывается эквивалентность (по критерию минимума средней функции риска) представления СР с нелинейной разделяю­ щей поверхностью в виде блока нелинейных преобразований и ЛПЭ.

5-2. Выбор функционала вторичной оптимизации

с двумя решениями (два класса образов). Общие требования к функ­ ционалу вторичной оптимизации СР были отмечены в введении. Параметры функционала, необходимые для организации итерацион­ ной процедуры поиска, должны достаточно легко измеряться и оцениваться в системе; функционал должен иметь сравнительно простой вид относительно настраиваемых коэффициентов СР и минимальное значение при тех же значениях настраиваемых пара­ метров СР, при которых соблюдается (при заданной структуре разомкнутой СР и некоторой априорной информации) экстремум некоторого функционала первичной оптимизации.

Анализ выражений (5-5) и (5-6) для моментов распреде­ ления аналоговой и дискретной ошибок СР позволяет сде­ лать следующие выводы [Л. 62, 63]:

1. Моменты нечетного порядка распределений аналого­ вой и дискретной ошибок СР в режиме обучения не могут быть использованы в качестве функционалов вторичной оптимизации. Возможно использование в качестве таких функционалов модулей указанных моментов.

2. Моменты четного порядка указанных распределений могут быть использованы в качестве функционалов вто­ ричной оптимизации, причем в случае моментов распреде­ ления дискретной ошибки нет смысла в рассмотрении мо­

ментов выше второго порядка ввиду их пропорционально­ сти a 2g.

3. Основной целью исследования в данном параграфе является выяснение того, какому критерию первичной оп­ тимизации и какой априорной информации о характери­ стиках входного сигнала и матрице потерь соответствует

134

минимизация выбранного функционала вторичной оптими­ зации.

4. Исследование выражений для | а 1а| и а 2а (ЛПЭ) по­ казывает, что минимизация данных функционалов вторич­ ной оптимизации эквивалентна минимизации средней функ­ ции риска при учете только моментов первого порядка распределений совокупностей образов того или иного класса. При этом считаем, что априорные вероятности по­ явления образов из различных классов равны и имеет ме­ сто следующее условие (/22—/21) = (1ц—112).

Основой методов настройки ЛПЭ по замкнутому циклу, пред­ ставленных в работах Уидроу (системы под названием «Адалин»), является минимизация второго момента распределения анало­ говой ошибки. Здесь обсуж­ дается утверждение Уидроу, высказанное им в одной из первых работ этого цикла:

«Используя некоторые гео­ метрические аргументы, можно показать, что средний квадрат

Это является неверным, хотя бы потому, что минимизация средней функции риска для нормальных распределений с различ­ ными ковариационными матрицами достигается с помощью СР с раз­ деляющей поверхностью второго порядка. Рассмотрим случай, когда [Л. 62 ] СР есть ЛПЭ. В этом случае совпадение оптимальных решений по критериям минимума oc2g (средней функции риска при определенных ограничениях на pi и /,-у) и a 2a достигается лишь при равных ковариационных матрицах, соответствующих образам первого и второго класса.

Проведем исследование экстремальных свойств моментов вто­ рого порядка аналоговой и дискретной ошибки одномерного ЛПЭ с целью выяснения разницы в оптимальных решениях по критериям минимума ос2а и a 2g.

которая служит оценкой отклонения оптимальных решений по

критериям минимума а„а и a 2g; на рис. 5-1 построена зависимость

1

AR = Aa2g — (|л21 ) для одного частного случая (а1х = 0, а 12 = 2,

135

fi22 — 2). Ограниченность критерия минимума а 2а особенно хорошо иллюстрируется на примере' многомодальных распределений (рис.

5-2), где показаны в одномерном случае «пороги» CP aQ и а0,

оптимальные по критериям минимума а 2а и a 2g (заштрихованная площадь — приращение AR при переходе от критерия минимума a 2g к критерию минимума a 2a).

5. Исследование выражения для модуля первого мо­ мента распределения дискретной ошибки СР в данном слу­ чае

I a ig! — 2 1р2Фа— Pi + Р1Ф1 1

показывает, что минимизация | a lg | приводит к удовлетво­ рению критерия минимума средней функции риска при ус-

Рис. 5-2. Сравнение критериев минимума <х2а и a 2g для многомодальных распределений.

ловии равенства составляющих средней функции риска для обоих классов и следующих ограничениях на коэффи­ циенты матрицы L

^22--121—^11 ^12•

6. Исследование выражения для второго момента рас­

к удовлетворению критерия минимума средней функции риска при аналогичных указанным выше ограничениям на коэффициенты матрицы.

7. Дополнительные ограничения, связанные с конечным

экстремальными при ограниченной структуре разомкнутых СР (ЛПЭ) и многомодальных распределениях входного сигнала. Функционал a 2g при ограниченной структуре СР может быть многоэкстремальным, т. е. его минимиза­ ция приводит к обеспечению в общем случае только локаль­

136

при произвольном виде разделяющей поверхности, в со­

Здесь функционал a 2g пропорционален средней функ­ ции риска при произвольной структуре разомкнутой СР (два класса образов, два решения) и при известных ограни­ чениях на коэффициенты матрицы L. Необходимость в ана­ лизе СР с конкретной структурой возникает, так же как и выше, в случае СР с нелинейной разделяющей поверхностью для определения вида разделяющей поверхности, реализуе­ мой СР с данной структурой в исходном пространстве при­ знаков.

9. Рассмотрение указанных выше функционалов вто­ ричной оптимизации СР представляет интерес, несмотря на указанные ограничения, так как приводит к достаточно простой реализации соответствующих СР, настраивающихся по замкнутому циклу, а также может быть полезно при по­ строении СР с переменной структурой.

5-3. Формирование функционалов вторичной оптимизации, соответствующих заданному критерию первичной оптимизации

В связи с изложенным ранее (п. 8 § 5-2) формирование функционалов вторичной оптимизации производится для разомкнутых СР с произвольной структурой (К р = К = 2), т. е. с разделяющей поверхностью произвольного вида.

а) Критерий минимума средней функции риска

Основной вопрос здесь заключается в выборе преобра­ зования дискретной ошибки СР xg (п) = е (п) — xk (п) для получения дискретной ошибки х g (п), второй момент

распределения которой был бы равен средней функции риска. Будем осуществлять указанное преобразование

137

Если искать параметры А, В, С, обеспечивающие совпа­ дение a 2g и R с точностью до постоянного слагаемого (px/12 + р 2^22), то в данном случае

Возможно применение следующего преобразования (Z) дискретной ошибки

138

и условия совпадения а 2е и R записываются в следующем виде:

эквивалентна минимизации функционала Лагранжа:

R* = [Р1/Х1Ф1 + Pi^i2 (1 — Ф1)] (1 + ^) +

Совпадение R *и a 2g обеспечиваетсяпри следующих параметрах описанного выше преобразования (А, В, С):

С = ] / p2l22(1 — ^) + 2Px/12 (1 + Я)—Pi/ц (1 + к );

В=— [У(1--(^21------Pl^22) + (1 +^) (2Pl/l2---Pl/xl)---

—У Рг^22 (1 —Ц+ 2pi/i2 (1 +Я) — P1I11 (1 + Я )|.

(5-18)

Левая часть (5-16) есть градиент R* по к. В СР эту ве­ личину можно оценивать как первый момент преобразо­ ванной (А х, Лх> Сх) дискретной ошибки, причем параметры преобразования А х, В и Сх получаются следующим обра­ зом. Из (5-12) следует, что

a i g — Pi(Cx— 2Лх) + С хр 2 рхФх 2 А 1 + р2Ф2 2 В х . (5-19)

139