книги из ГПНТБ / Галушкин, А. И. Синтез многослойных систем распознавания образов

полученный квантованием кривой по времени на интервале [0, 7"0 ], где т — время испытания устройства, выпускаемого из произ­ водства; компоненты вектора xj (п) соответствуют ординатам х/ (t„) в точках квантования. Таким образом формируется пространство признаков СР в данной задаче.

Указание учителя может быть сформировано следующим об­ разом. Априори задается ресурс времени работы устройства Т0. При этом векторы xj (п), фиксируемые точкой пересечения кривой Xj (t0) с уровнем х0, лежащим слева от Т0, относятся к первому классу (негодных устройств), а лежащим справа от Т0 — ко вто­

рому классу (годных устройств). Соответственно этому вводятся две градации (произвольные) сигнала в (п) по амплитуде, в частно­ сти равные ± 1 . Ось tg априори может быть разбита на К интерва­ лов с указанием сорта устройства, и сигнал е (п) будет иметь К гра­ даций по амплитуде (например, е = 1, . . . , К)\ каждому вектору Xj (п) будет приписано свое значение е.

В предельном случае при отсутствии процесса априорного раз­ биения оси t0 на отрезки системе распознавания образов для каж­ дой кривой х/ (t0), как вектора х /(п), сообщается указание учителя о времени работы устройства до выхода из строя (пересечения Xj (t0) уровня хд) в виде величины, имеющей непрерывное распределение.

Задачей исследования характеристик входного сигнала является вывод и анализ выражений для функций распре­ деления вероятностей входных сигналов при различной априорной информации о входном сигнале и различных режимах работы системы распознавания.

Предметом исследования в каждом конкретном случае могут быть: совместное распределение f (х, s), условное распределение /' (х/е) совокупности образов х при задан­ ном указании е о принадлежности образов k-шу классу, условное распределение /" (е/х), собственные распределе­ ния сигналов }х (х) и fe (г), а также смешанные моменты этих распределений.

Введением понятия квалификации учителя создается единый подход к решению задач обучения и самообучения систем распознавания образов. Совместный закон распре­ деления распознаваемых входных образов и сигнала ука­ зания принадлежности образов к классам представлен на основе указанного единого подхода.

1-2. Совместный закон распределения вероятностей входного сигнала для двух классов образов

В задаче обучения СР принадлежность представителей обучающей выборки к тому или иному классу известна с ве­ роятностью, равной единице, т. е. учитель дает указание,

20

к какому классу относится сигнал из обучающей выборки. При самообучении сигналы в обучающей выборке не со­ провождаются указанием об их принадлежности к тому или иному классу и вероятность принадлежности предста­ вителей обучающей выборки, в простейшем случае с дву­ модальным распределением, к классам, соответствующим каждой моде, равна не единице, как в случае обучения, а 0,5. Вероятность указания учителя об объективной принад­ лежности образов к тому или иному классу обозначим через а.

Выражение для совместного закона распределения f (х, е) сигнала х («), соответствующего последовательно­ сти образов, и сигнала в (п) указания принадлежности об­

сигналов хх (п) и х2 (п), представляющих в данном случае образы первого и второго класса.

Распределение (1-1) является дискретно-непрерывным из-за дискретной записи функции е (п), хотя в принципе его можно записать в непрерывной форме, используя б-функцию Кронекера. Особенность дискретного представ­ ления учитывается далее заменой операции интегрирова­ ния по е операцией суммирования.

Степень квалификации учителя b вводится следующим

Выражения (1-3) и (1-2) относятся к случаю, когда сте­ пень квалификации учителя при отнесении им образа из выборок первого или второго класса одинакова и равна Ь. Соответственно одинаковой для этих классов и равной а

21

будет вероятность принадлежности текущего образа клас­ сам. Из (1-3) при b = 1 следует совместный закон распре­ деления входного сигнала в режиме обучения СР

Совместный закон распределения входного сигнала в ре­ жиме самообучения СР при b — 0 имеет вид:

В этом случае учитель специально осуществляет непра­ вильную классификацию (учитель является «вредителем»).

Составим выражения для условных законов распреде­ ления вероятностей входного сигнала. По определению условной вероятности

00

где /е(е)= J / (х, е) dx.

*—00

После интегрирования выражения (1-3) получим функ­ цию распределения указаний учителя в следующем виде:

22

Подставив (1-8) и (1-3) в формулу (1-7), получим:

где интегрирование по дискретному аргументу е заменяется операцией суммирования. После подстановки и интегри­

23

Отсюда следует, что квалификация учителя влияет на моменты распределения / (х, е) при нечетном i.

Неравная квалификация учителя относительно образов первого и второго класса

В практических задачах_,может встретиться случай, когда квалификация учителя системы распознавания обра­ зов или вероятность принадлежности текущего образа на входе СР будет различной для первого и второго класса. Введем в рассмотрение стохастическую матрицу

Рассмотрение различных вариантов для соотношений между величинами Ьг и Ь2 может привести к появлению интересных и значительных для практики режимов работы СР. Например, при Ьг — 1 и Ь2 = 0 квалификация учи­ теля относительно первого класса равна единице, а по от­ ношению к представителям второго класса учитель не имеет информации. При этом

24

Данный случай в каком-то смысле является промежу­ точным между режимами обучения и самообучения.

Моменты распределения, определяемые из (1-13), имеют вид:

Совместный закон распределения при наличии «собственного мнения учителя о своих способностях»

Объективно учитель делает некоторое количество ошибок при обучении системы распознавания образов. Выше рассмотрены слу­ чаи, когда учитель сам до конца самонадеян, т. е. думает, что обла­ дает полной квалификацией. Введем понятие «собственного мне­ ния учителя о своей квалификации», характеризуемого коэффици­ ентом с. Тогда при с]> Ь имеем «самомнение учителя», равное с—Ь, а при с<^Ь «скромность учителя», равную Ь—с. Встает вопрос ис­ следования влияния на работу СР указанных характеристик и оп­ ределения оптимального с некоторой точки зрения соотношения истинной квалификации учителя и его «собственного мнения учителя о своих способностях».

Аналогичные задачи можно ставить и в плане «вредительства» при — 1 <; Ь<*С.

Обозначим через к' сигнал указания учителя, который до конца самонадеян. Выше было принято, что е = е'. Неуверенность учи­ теля в своих способностях, определяемая через степень его квали­ фикации, состоит в том, что появление образа первого или второго класса констатируется учителем, т. е. е = — 1 или е = 1, с веро­ ятностью (1 + с)!2. Соответственно принадлежность этих же обра­

Nзов ко второму или первому классу определяется с вероятностью (1—с)/2. Совместное распределение случайных величин е и е' можно записать в виде

25

Из совместного распределения (1-3), при замене в нем е на е',

В [Л. 51] приведен вывод выражения [1-16] и анализ как ча­ стных, так и общих случаев. Там же показано, что в случае нерав­ ного для образов первого и второго класса «собственного мнения учителя о своих способностях»

Отсюда можно получить выражения для условных и собствен­ ных распределений входного сигнала СР и для моментов распреде­ лений.

1-3. Совместный закон распределения вероятностей входного сигнала для К классов образов

26

Совместный закон распределения вероятностей сигна­ лов х (п) и е (л) имеет вид:

_0 0 . . . 1_

В режиме самообучения вероятность отнесения обра­ зов, принадлежащих объективно k'-щ классу, к любому k-ыу классу одинакова для всех классов и равна 1//С:

Кк

А ,=

_ 1

кк

Врежиме «вредительства» образы, объективно принад­ лежащие k'-му классу, относятся с какой-то вероятностью

к любому из классов, кроме самого k'-ro класса:

Введем понятие квалификации bk учителя системы рас­ познавания образов для К классов. Зависимость между вероятностями akk, и величиной bk является нелинейной, так как

При аппроксимации этой зависимости функцией вто­ рого порядка

akk = xbt + ybk + ?,

27

после подстановки в нее значений (1-19) и решения системы уравнений относительно неизвестных х, у, z получим:

В конкретных расчетах можно пользоваться любой из формул (1-20) или (1-21). Из (1-18) можно вывести выраже­ ние для момента распределения, окончательное выражение которого имеет вид:

е1' / = 2 2 Pk'akk'aik'ki-

k=i k’=\

Совместное распределение вероятностей входного сигнала для К, классов образов при произвольных квалификации учителя и «собственного мнения учителя о своих способностях» относительно каждого класса имеет вид:

где матрица вероятностей С = [с^] характеризует «собственное мнение учителя о своих способностях» при отнесении образов 1-то класса к k-щ классу. Обозначив

К

2 clkahk' — dlk’’

Собственное распределение указаний учителя СР в режиме обучения распознаванию К классов образов имеет вид:

Это функция дискретного аргумента е. Случай непрерывной функции распределения имеет широкое практическое применение тогда, когда учитель СР не может четко определить принадлеж­ ность образов к тому или иному классу, а выдает лишь некоторую количественную оценку этой принадлежности. При этом, конечно, возможно (но нежелательно ввиду потери информации при кванто­ вании) разбить шкалу Т на К участков и свести задачу с континуу­ мом классов к задаче с К классами образов. Для континуума клас­

28

а в режиме самообучения

/(х, е ) = / е (е)Ы х).

При произвольной квалификации учителя СР вводится в рас­ смотрение функция а (е', ё) вероятности отнесения учителем обра­ зов, объективно соответствующих/распределению [ (х, в'), к рас­ пределению / (х, е). В данном случае

оо

J а (s', е) de' = 1.

—оо

Совместное распределение вероятностей / (х, е) сигналов х (я) и в (я) на входе СР будет иметь следующий вид:

СО

О нестационарных входных сигналах СР

При нестационарных входных сигналах рассматриваются со­ вокупности образов, распределенных внутри каждого класса в со­ ответствии с законом fh (х, я), переменным по времени. Изменение распределения f (х, в) в зависимости от времени я может возникать из-за изменения во времени условных плотностей f' (х/е) или рас­

fe’=i

Принципиально можно рассматривать еще более общий случай переменных во времени значений квалификации учителя и «собст­ венного мнения о своих способностях». Выражение для моментов данного распределения в текущий момент времени имеет вид:

е;х; = ^ 2 dk’k(n) a jk’ (n) kK k'=i *=i

В данной главе представлен анализ функций распределения входного сигнала СР в случае произвольной квалификации учи­ теля. В связи с этим как частные случаи рассмотрены режимы обу­ чения, самообучения и «вредительства», а также промежуточные режимы работы СР. В общем случае учитель СР может указывать на принадлежность текущего образа на входе СР к тому или иному классу в виде многомерного (размерности N*) вектора в (я); фор­ мальная запись выражений для функций распределения входного сигнала в большинстве рассмотренных случаев при этом сохраня­ ется. Выражения для законов распределения входного сигнала записываются в общем виде относительно априорных вероятностей появления классов и условных распределений f (х/е).

29