книги из ГПНТБ / Галушкин, А. И. Синтез многослойных систем распознавания образов

Г л а в а в т о р а я

ПОСТРОЕНИЕ ОПТИМАЛЬНЫХ МОДЕЛЕЙ СР

2-1. Общая структура оптимальной модели

Под оптимальной (эталонной) моделью СР, как и в лю­ бой другой оптимальной системе (рис. 2-1), понимается оптимальное преобразование, осуществляемое системой над входным сигналом [х (п), г (п) 1 для получения выходного сигнала хк (п), с точки зрения выбранного критерия пер­

ее осуществляется, в частности, в виде выражения для разделяющей поверхности. Разделяющая поверхность де­ лит многомерое пространство признаков на непересекающиеся области с указанием принадлежности соответствую­ щей области к тому или иному классу.

В табл. 2-1 представлена классификация СР по харак­ теристикам входного сигнала и пространства решений для частного вида одномерных сигналов е (п) и хк (п). Остано­ вимся коротко на отдельных типах систем.

Система распознавания 1, рассчитанная на два класса образов с двоичным выходом, наиболее широко представ­ лена в литературе. Система распознавания 2 рассчитана на К классов образов с числом решений Кр, равным К- Исследование оптимальных моделей подобных СР прове дено в [Л. 46 и 49 ] для различных критериев первичной

30

оптимизации СР и различной априорной информации о характеристиках входного сигнала. Необходимо отметить, что представление о том, что задача обучения при распозна­ вании К классов образов может быть сведена к последова­ тельному применению на каждом шаге алгоритма обучения для двух классов, является неверным. Это самостоятель­ ная задача, для оптимального решения которой уже на пер­ вом шаге строится эквивалентная разделяющая поверх­ ность, делящая пространство признаков на К непересекающихся областей.

Пространство решений СР характеризуется числом уров­ ней квантования по амплитуде выходного сигнала xk (п) по каждому из каналов. Системы распознавания с конти­ нуумом решений, например типа 5 или 6, имеют непрерыв­ ный выходной сигнал. Системы распознавания 8, 10, 11 характеризуются непрерывным распределением /е (е) ука­ заний учителя СР, когда текущему образу на входе при­ писывается не индекс класса из дискретного множества индексов, а некоторая количественная (континуальная) оценка принадлежности.

2-2. Аналитическое представление разделяющих поверхностей в типовых СР

Методика построения оптимальных моделей СР К клас­ сов образов достаточно подробно описана в работах автора [Л. 49, 53 ] и в данной книге ввиду ее ограниченного объема

31

не приводится. В принципе оптимальные модели некоторых СР К классов образов можно получить из выражений для оптимальных моделей СР более общего типа, рассматри­ ваемых ниже. В случае К классов образов, так же как и в любом другом случае, получение выражений для опти­ мальных разделяющих поверхностей производится следую­ щим путем: записывается выражение для минимизируе­

ляется системой неравенств, определяющих деление ис­ ходного пространства признаков на К областей с отнесе­ нием каждой области к тому или иному классу.

Рассмотрим построение оптимальных моделей СР, при­ веденных в табл. 2 -1 .

Система распознавания 3. Система распознавания образов, оптимальная по критерию максимума апостериорной вероятности (в случае двух решений), преобразует входной сигнал х (п) в выход­ ной х/, («) в соответствии со следующим соотношением:

ность уменьшается по мере приближения к разделяющей поверх­ ности и равна нулю на ней.

Система распознавания двух классов образов типа За имеет две разделяющие поверхности. Эти поверхности делят пространство признаков на три части (/, II, III , рис. 2-2) с зоной нечувствитель­ ности, в которых СР указывает принадлежность текущего образа на входе: I область — к первому классу, II область — ко второму классу, III область — ни к первому, ни ко второму (либо и к пер­ вому и ко второму) классу.

32

Уверенность ответа системы распознавания образов о принад­ лежности текущего образа х на входе, например, к первому классу должна определяться разницей апостериорных вероятностей при­ надлежности к первому и ко второму классу. В этом плане много­ мерное пространство признаков должно делиться на три части:

область / соответствует решению СР о принадлежности ее к первому классу

г ( е = - 1 / х ) - ^ > / " ( 8 = 1/х);

область I I соответствует решению СР о принадлежности ее ко

второму классу

Г (е = — 1/х) |- d2< /" (8 = 1/х);

область I I I , в которой СР либо вообще не может ответить на

вопрос о принадлежности текущего образа к первому или второму

степень уверенности СР в отнесении образов на входе к первому или второму классу. В частном случае возможно, что d1 = d2 — d или rfi = d2 = d — 0; в последнем случае вариант с двумя разде­ ляющими поверхностями вырождается Ввариант с одной разделяю­

щей поверхностью. В случае двух разделяющих поверхностей си­ стема распознавания образов с оптимальными параметрами разде-

/ляющих поверхностей преобразует входной сигнал х (га) в выходной xk(n) (указание системы о принадлежности текущего образа к тому или иному классу) следующим образом: х (га) в области / — х* (га) =

Общее выражение для разделяющих поверхностей, оптималь­ ных по величине апостериорной вероятности, имеет вид:

( 2- 1)

Это окончательное выражение для разделяющих поверхностей, когда в качестве критерия первичной оптимизации используется величина апостериорной вероятности. В работе автора (Л. 52] представлена более подробная интерпретация величин d1 и d2 через условные плотности [' (х/е) и /" (г]х).

Система распознавания, оптимальная по критерию ми­ нимума средней функции риска, делит многомерное про­

странство признаков на три части: область, относимую СР к первому классу; область, относимую СР ко второму классу; область, в которой СР отказывается от принятия решения о принадлежности образов к тому или иному классу:

Условная функция риска есть сумма потерь при отне­ сении образа г-го класса к /-й области. Потери вычисляются как соответствующие вероятности, умноженные на вели­

34

Необходимо найти выражения для S' (х) и S " (х), обес­ печивающие минимум R. Достаточно просто показать, что минимум R обеспечивается в том случае, когда подынтег­ ральные выражения отрицательны внутри соответствую­ щей области интегрирования и положительны вне ее, т. е. минимум R обеспечивается при условии

Выражения (2-2) и (2-6) определяют оптимальную мо­ дель СР двух классов образов с двумя разделяющими по­ верхностями. Рассмотрим несколько подробнее частный случай, который более физически отражает сущность СР двух классов образов с дву­ мя разделяющими поверх­

ностями. Примем

На рис. 2-3 представлена иллюстрация (в одномерном случае) зависимостей изменения порогов Лх и /г2 от /0.

Анализ выражений для разделяющих поверхностей позволяет сделать следующие выводы:

а) При /0 = 0 зона, в которой СР отказывается от распознава­ ния, занимает все пространство признаков. Это естественно, так как в данном случае потери при отказе от распознавания равны нулю.

б) При 10 = 1/2 СР с двумя разделяющими поверхностями вырождается в СР с одной разделяющей поверхностью. Это случай, когда потери при отказе от распознавания в 2 раза меньше потерь при неправильном распознавании, а потери от правильного рас­ познавания равны нулю.

в) При конечном значении 10 в пределах 1/2]> /о^>0 сущест­ вует зона нечувствительности, где СР не относит текущий образ на входе ни к первому, ни ко второму классу.

г) При значении /0 в пределах 1 > /„ > 0 ,5 СР имеет две разде­ ляющие поверхности, причем в зоне между ними СР относит теку­ щие образы на входе и к первому и ко второму классу. На рис. 2-3

36

На рис. 2-3 кг — порог, которым определяется (в одномерном случае) поверхность S' (х), h2 — порог, которым определяется по­ верхность S ” (х).

д) При l0 = 1 все многомерное пространство признаков счи­ тается принадлежащим и первому и второму классу.

Если сравнить оптимальные модели СР, построенные по крите­ рию апостериорной вероятности (2-1) и критерию минимума сред­ ней функции риска (2-5), то видно, что при условии

оптимальные решения по указанным критериям совпадают. Кроме того, данные равенства являются дополнительной интерпретацией коэффициентов dt и d2. Использование того или другого критерия возможно при наличии априорной информации о коэффициенте di или 1ц.

Анализ выражения для средней функции риска показы­ вает возможность рассмотрения критериев первичной оп­ тимизации при следующих ограничениях:

1) равенство отдельных составляющих средней функции риска

S " (x)<0

37

Уравнения оптимальных разделяющих поверхностей, имеющие вид:

S' ( х ) = (1п — /ю) P i f i (х) (1 -)- X) -f-

есть результат минимизации функционала I. Значение X, обеспечивающее минимум /, получается из условия ра­ венства нулю производной dlldX, т. е. при подстановке (2-10) в уравнение (2-9) для соответствующего ограниче­ ния.

Для критерия минимума составляющей средней функ­ ции риска для одного из классов при заданном значении составляющей средней функции риска для другого класса, т. е. с учетом ограничения (2 -8 ), выражения для оптималь­ ных разделяющих поверхностей имеют следующий вид:

Выражение для X получается подстановкой (2-11) в уравнение для соответствующего ограничения, имеющее вид:

N

Р^2 = Р21 ц + \ ■ ■ ■ [ ( 4 l — 4о) Р2 / 2 (х) ^Х +

"s' (x)<d"

N

+ !’ • • • j (l20— li i ) P i f i ( x ) d x = a.

' s" (x)<o

Рассмотрим систему распознавания 36 (табл. 2-1) на два класса образов, имеющую (Кр—1) разделяющую по­ верхность. Для данной системы д р = const означает, что число (целое) решений равно или больше четырех.

Определим оптимальную модель СР по критерию сравнения апостериорных вероятностей. По аналогии со случаем двух клас­ сов образов и двух разделяющих поверхностей определим деление многомерного пространства признаков на области следующим об­ разом.

Область kp (kp = 1, . . . , Кр) определяется следующей систе­ мой неравенств:

38

при d0 1 = 1, dk k +1 = —1 и следующем условии:

Иллюстрация такого деления пространства признаков в одно­ мерном случае приведена на рис. 2-4. Выходной сигнал СР должен иметь kp градаций по уровню, т. е. СР принимает при наличии двух классов образов kp решений. Из рис. 2-4 следует, что отнесение той или иной области многомерного пространства признаков к первому

Области

Рис. 2-4. К рассмотрению критерия первичной опти­ мизации СР по величине апостериорной вероятно­ сти в случае двух классов образов и (/Ср — 1)-й разделяющей поверхности.

или второму классу производится с определенным запасом по апо­ стериорной вероятности, например в области йр с запасом, равным

m in{|V - ь kv\’ I V p '-'I).

Учитывая известные выражения для апостериорных вероятно­ стей I (е = 1/х) и f (в = — 1/х), можно получить выражение для области kp решения СР в исходном многомерном пространстве при­ знаков в следующем виде:

Определим оптимальную модель СР по критерию ми­ нимума средней функции риска. В данном случае СР по­ сле обучения делит многомерное пространство признаков на Кр частей, в каждой из которых существуют априори

39