книги из ГПНТБ / Галушкин, А. И. Синтез многослойных систем распознавания образов

Двухслойная СР. Рассмотрим случай ограничений на коэффициенты ЛПЭ многослойной СР. Ниже представлены рекуррентные соотношения, являющиеся основой для по­ строения замкнутых СР в данном случае.

Ограничения типа равенств («а» — второй слой, «б» — первый слой):

N

+ KS7a7. (я) 21 au {n)— a + 1 (я); i=0

dg g=g(n)

N

Ф(я) 1 + К1^(п) 21 яц (я) —a

;=о

Ограничения типа неравенств («а» — второй слой, «б»— первый слой):

180

dg g=g<rt>

+ QX (n) + K h ( n ) q [a'(n )]j.

Представленные алгоритмы достаточно просто могут быть обобщены на произвольное число слоев и для случаев ограничений произвольного частного вида.

7-6. Реализация критериев первичной оптимизации в ЛПЭ с двумя решениями

Рассмотрим критерий минимума средней функции риска. Выражение для преобразованной дискретной ошибки мо­ жет быть представлено

= ( е - х А) [ - 2 А + С) ( 6 - 1) + (2В + С) (е + 1)] -L +

+ — (е + xk)

181

Необходимая для построения замкнутой СР величина градиента в данном случае

(5-13) и (5-14). В случае (5-14)

,2

= —2xgsignxt j ~ [ ( / i 2 —/ц )(е— 1)+ (/21— ^22) (е + l)]j •

(7-6a)

При использовании выражения (5-14а) для формиро­ вания преобразованной дискретной ошибки имеем:

После соответствующих преобразований получаем:

.2

что совпадает с полученным выше результатом при исполь­ зовании ЛВС-преобразования при Z 11 = Z 22 = 0. Оценку градиента второго момента распределения преобразованной дискретной ошибки можно получить, используя иное, не­ жели (7-7), выражение для xg:

182

В приведенных выше выражениях Zk k == j/~ /

обеспечения равенства R = x'*.

Критерий минимума R при условии pirx~ р 2г2 опре­ деляется следующим образом. Оценка градиента R * (5-17) по настраиваемым коэффициентам выражается в виде (7-6), где коэффициенты А, В, С определяются выражением (5-18). Оценка градиента R* по А определяется в виде оценки пер­ вого момента распределения преобразованной дискретной ошибки, записываемой в соответствии с (5-19) и (5-20)

Выражения (7-6), (5-18), (5-20) и (7-8а) служат в дан­ ном случае основой для построения соответствующей замк­ нутой СР.

При использовании для формирования преобразован­ ной дискретной ошибки СР преобразования Z, описанного выше, выражение для оценки градиента R* по а{ опреде­ ляется (7-8) и (5-21), а выражение для оценки градиента R* по А:

(7-9)

Определим критерий минимума R при условии р 1г1 — = const. В данном случае оценка градиента R* (5-24) по настраиваемым коэффициентам выражается в виде (7-6), где коэффициенты А, В, С определяются выражением (5-25). Оценка градиента R* по А определяется в виде оценки пер­ вого момента распределения преобразованной дискретной ошибки, записываемой в виде (7-8а) с коэффициентами А ъ В ъ Съ определяемыми (5-26). При использовании преобра­

183

7-7. Реализация критерия минимума средней функции риска в ЛПЭ с континуумом и К решениями

Для ЛПЭ с континуумом решений (два класса образов)

всоответствии с (5-30) имеем:

—6)2,2 (xg) + — (1— e)Z1(Jce) —

Y (1+ е) V k (хк) + ± ( \ - г ) У ~ 1 1(xk) (7-9a)

Здесь

Xk = E — Xg = F(g)

После некоторых преобразований получаем необходи­ мое выражение для оценки градиента средней функции риска через текущие сигналы в СР в следующем виде:

xg = - L ( l + e ) x g + - L ( l - e ) x g = xg.

Отсюда

dx„

- 2 d- L ^ Xixg dat dg

что соответствует ЛПЭ с минимизацией a 2g, рассмотрен­ ному в § 7-2. Из (7-10) следует известное выражение для оценки градиента R в случае двух классов образов и ЛПЭ

сдвумя решениями в виде (7-6а).

Вслучае континуума классов образов (гл. 5)

=(xg) = y^l [(е—xg) е] ;

—тп

da; dxk dg

Отсюда как частный случай следует соответствующее выражение (7-10) для двух классов образов. В (7-11) функ­

ция должна быть задана априори.

дхк

Для ЛПЭ с К решениями (К классов образов) выходной сигнал (гл. 4) описывается следующим выражением:

ставляют собой первую разность соответствующей дискрет­ ной функции I (xk, е). В частности, эта матрица может иметь следующий вид:

185

7-8. Реализация критерия минимума средней функции риска в СР с N* выходными каналами (слой ЛПЭ)

Ниже рассмотрено построение замкнутых CP с N* вы­ ходными каналами. Построение оптимальных моделей та­ ких СР и выбор для них функционалов вторичной оптими­ зации рассмотрены в гл. 2 и 5. Здесь рассматривается слу­ чай одинаковой размерности сигналов е и xk, хотя в прин­ ципе эти сигналы могут иметь различную размерность.

При вычислении преобразований дискретной ошибки, когда выходной сигнал имеет по каждому каналу Ко гра­ даций, измеренный вектор дискретной ошибки, имеющий вид:

умножается на скаляр (5-33) и далее вычисляется норма результирующего вектора. Отсюда

если

Рассмотрение общего случая Ко градаций выходного сигнала СР по каждому каналу, имеющего вид:

не является принципиальным. Поэтому остановимся на случае Ко = 2:

186

эта матрица может иметь вид, аналогичный (7-13). Вели­ чина дх.*к/да(. определяется только своим знаком следую­

щим образом:

дхi*k

sign sign*,-.

да;;*

Пусть система распознавания имеет континуум решений по каждому из N* каналов. Предполагается, что функции F идентичны для каждого выходного канала. Преобразо­ ванная дискретная ошибка, первый начальный момент рас­ пределения которой равен средней функции риска R, по­ лучается как сумма квадратов компонент вектора измерен­ ной дискретной ошибки, преобразованной в соответствии с (5-34):

= [ Д [в4. - Р , . ( х ) ] 2 = /[Р (х), е].

Вданном случае

иокончательно

X dF (Si.) xi(n). dg;*

Это выражение служит основой для построения соот­ ветствующей СР, настраивающейся по замкнутому циклу.

7-9. Реализация критерия минимума средней функции риска в многослойных СР

Ниже для трех типов многослойных СР представлены алгоритмы настройки по замкнутому циклу, реализующие критерий минимума средней функции риска. Обобщение результатов на другие критерии, рассмотренные выше для ЛПЭ, не представляет принципиальных трудностей.

187

Для СР двух классов образов, имеющей один выходной канал (N* = 1), при произвольной структуре разомкнутой системы справедливо соотношение (7-9а). Оценка градиента средней функции риска имеет в общем случае следующий вид:

188

Для многослойных CP из ЛПЭ с двумя решениями:

Рассмотрение многослойных CP с континуумом классов образов и решений не представляет принципиальной труд­ ности. Поэтому рассмотрим СР с К градациями по уровню сигналов е (п) и хк (п), т. е. число классов образов и число решений СР равны К ■Разомкнутая СР при N* = 1 описы­ вается следующим выражением:

Матрица д I (е, xk) здесь определяется так же, как

189