книги из ГПНТБ / Галушкин, А. И. Синтез многослойных систем распознавания образов

ления входного сигнала системы распознавания образов. Именно представление f, (х) многомодальной функцией позволяет использо­ вать в режиме самообучения в качестве критерия первичной опти­ мизации специальную среднюю функцию риска, предложенную М. И. Шлезингером, развитую в [Л. 48] и используемую ниже.

2-6. Оптимальные модели СР в режиме самообучения и при произвольной квалификации учителя

Предположим, что образы сгруппированы вокруг не­ которых неизвестных центров bftp классов. При введении

в рассмотрение функции расстояния образов от множеств

Уравнение, определяющее координаты центров классов, удовлетворяющих условию минимума R, имеет следующий вид:

Системы (2-25), (2-26) определяют оптимальную модель СР в режиме самообучения. Отметим, что функция потерь

60

р (х, b*p) = ||x —ЬАр ||2 определяет довольно грубую ап­

проксимацию распределения в классе. Более точная аппрок­ симация может быть достигнута усложнением оптимальной модели, достигаемым за счет усложнения функции потерь, например, следующим образом:

или взятием р (х, Ь*р) в еще более сложной форме.

Подобно тому как в режиме обучения вектор-функция (е), . . . , /йр (е)] заменяется функцией I (хк, е) двух

переменных при переходе к случаю континуума решений, в режиме самообучения вводится в рассмотрение функция потерь в виде р [х, b (хА)], где функция b (хк) является либо конечным [Л, 48], либо промежуточным результатом синтеза СР. В случае дискретного множества решений СР средняя функция риска имеет следующий вид:

Выражение для оптимальной модели СР получается отсюда дифференцированием R по хк = Р (х) и b анало­ гично тому, как это было сделано в режиме обучения

61

при использовании дополнительных условий Сильвестра для матрицы смешанных производных второго порядка R по компонентам вектора b (хк).

ции с обратной экстремальностью по отношению к режиму

Выражение для средней функции риска имеет вид:

Оптимальная область kp-ro решения может быть пред­ ставлена следующим образом:

S ( P\ x ) = g ' (х)—gk ( х )> 0 , ko =£k = 1 , . . . , К п.

Выражение для оптимальных значений Ьк ; имеет вид, аналогичный (2-26).

Выше предполагалось, что квалификация учителя из­ вестна точно при построении оптимальной модели СР. Не­ точное знание квалификации учителя имеет место, напри­ мер, при решении задач медицинской диагностики, когда известно, что квалификация обучающей выборки сделана врачом, имеющим конечную, неточно известную конструк­ тору СР квалификацию. При этом объективная квалифи­ кация b учителя определяет вид распределения входного сигнала, а субъективная квалификация учителя Ьс, сооб­ щаемая системе, определяет вид функционала оптимиза­

62

С учетом выражения для закона распределения вход­ ного сигнала оптимальная модель СР, в данном случае оп­ ределяемая системой К неравенств, запишется в следую­ щем виде:

V lbc ^pklkkp- p klkk^ + ( \ - b l ) Гр(х, Ь*р) - р | х , b / j lj x

В этом случае предполагается, что субъективная квали­ фикация учителя, сообщаемая СР, не зависит от номера класса.

Из (2-29) следует, что в случае bc = 1 и ] = A lt

где А 1 — единичная матрица (см. § 1-3), имеют дело с ре­ жимом обучения. В случае Ьс = 0 при произвольных зна­ чениях ak,k система работает в режиме самообучения. В об­

щем случае, когда объективная b и субъективная Ьс квали­ фикации учителя совпадают, система способна к настройке. В том случае, когда учитель имеет нулевую квалификацию, а систему принуждают работать в режиме обучения, она оказывается неспособной к настройке.

Вышеизложенный материал позволяет следующим образом классифицировать априорную информацию, необходимую для по­ строения оптимальной модели СР: а) число классов образов (два, К, континуум); б) характер нестационарное™ входного сигнала; в) функция квалификации учителя СР от двух аргументов, являю­ щихся индексами соответствующих классов; г) функция «собствен­ ного мнения учителя СР о своих способностях»; это также функция двух аргументов, являющихся индексами соответствующих клас­ сов; д) априорные вероятности появления классов; е) структура пространства решений СР (два, К р, континуум решений); ж) класс критериев первичной оптимизации СР; з) функция потерь при от­ несении СР образов одного класса к другому.

Это указывает на значительность объема априорной информа­ ции, необходимой для построения оптимальной модели СР. Необ­ ходимо отметить, что иногда отпадает необходимость в некотором виде априорной информации, например в априорных вероятностях появления классов при использовании минимаксного критерия или эмпирического байесовского подхода.

Как было указано во введении, количество априорной инфор­ мации о виде I' (х/е) определяет пути реализации оптимальных мо­ делей СР, указанные в табл. В-1.

63

Г л а в а т р е т ь я

ПОСТРОЕНИЕ СР, НАСТРАИВАЮЩИХСЯ ПО РАЗОМКНУТОМУ ЦИКЛУ

3-1. Классификация типовых распределений

Построение СР, настраивающихся по разомкнутому циклу, предполагает априорное знание в той или иной

разомкнутому циклу, заключается в подстановке выраже­ ния для f' (х/е) в формулу, описывающую оптимальную модель. Общая структурная схема СР, настраивающихся по разомкнутому циклу, представлена на рис. 3-1, где / — блок оценки параметров условных плотностей /' (х/е), II — блок расчета параметров разделяющей поверхности, III — априорная информация о виде условных плотностей.

Решение задачи синтеза СР, настраивающихся по ра­ зомкнутому циклу, возможно для любой оптимальной ма­ тематической модели СР и любой функции распределения. Использование информации о типовых распределениях при синтезе СР, по сути дела, есть использование опыта, накопленного математической статистикой при описании существующих в природе процессов детерминированными характеристиками.

Типовые распределения могут быть классифицированы, следующим образом: дискретные (одномерные и много­ мерные), непрерывные первообразные; непрерывные выбо­ рочные.

64

Перечень наиболее часто встречающихся распределе­ ний каждого из классов представлен в табл. 3-1. Конкрет­ ные выражения для данных распределений можно найти в известной литературе [Л. 16, 18, 25, 27, 32, 34, 37, 38, 39, 43, 45] по математической статистике.

3-2. Построение СР, оптимальных для совокупностей образов, распределенных по некоторым типовым законам

Нормальное распределение

В случае нормальных распределений

выражение для оптимальной разделяющей поверхности (СР двух классов образов на два р<ешения) имеет следующий вид:

Здесь индекс Т означает операцию транспонирования вектора х.

х2а\

h W = — е • ai

Для системы распознавания 2 (табл. 2-1) при оптимизации по критерию минимума средней функции риска имеем:

Ямин — Pl^ll — Pl^2l — Pi (^11 — ^1 2 ) x

Oo—a21

66

Система для определения множителя Лагранжа Я имеет сле­ дующий вид:

Первый начальный, второй начальный и второй центральный моменты данного распределения равны Я, Я2 + Я, Я. Оптимальный порог имеет вид:

при определенных ограничениях на pi и 1ц .

Равномерное распределение. В данном случае при N = 1

Рис. 3-2. К построению СР, оптимальной для сово­ купности образов, подчиняющихся треугольным рас­ пределениям.

В случае, изображенном на рис. 3-3, имеем a1< t a 2< i a 3<£ai -, при этом

формулы для порога и средней функции риска равны:

а, — а.

Т = а%\ R = ■

при аналогичных ограничениях на р{ и 1ц .

68

3-3. Построение СР, оптимальных для совокупности различных законов распределений вероятностей

Здесь ставится задача отыскать функциональную форму, удачно описывающую совокупность распределений и обладающую достаточно широким охватом встречающихся на практике распре­ делений. В [Л. 37] рассмотрены следующие системы распределений вероятностей: система, основанная на преобразовании Кэптайна— Джонсона, система, основанная на разложении в ряд Грамма— Шарлье (I), система Пирсона (III).

Сравнение показало, что система Пирсона обладает преиму­ ществами по сравнению с остальными, так как позволяет при наи­ большей простоте описания охватить широкий круг известных распределений. Классификация распределений Пирсона исходит из стремления описать совокупность плотностей вероятностей еди­ ным уравнением, в частности в одномерном случае:

69