книги из ГПНТБ / Галушкин, А. И. Синтез многослойных систем распознавания образов

А. И. Г а л у ш к и н

СИНТЕЗ

многослойных

СИСТЕМ

РАСПОЗНАВАНИЯ

ОБРАЗОВ

©

Э Н Е Р Г И Я » - МОСКВА • 1974

УДК -62-50 : 007

7т < ?

© Издательство «Энергия», 1974 г.

ВВЕДЕНИЕ

Настоящая работа ставит перед собой две задачи. Пер­ вая заключается в попытке построения теории многослой­ ных систем распознавания образов, вторая — в построе­ нии адекватных моделей некоторых простейших нейрон­ ных ансамблей. Всю логику предлагаемых методов синтеза многослойных систем распознавания образов определяла первая задача, вторая лишь в самых общих чертах направ­ ляла исследования.

Автор придерживается мнения академика В. М. Глуш­ кова относительно важности задачи распознавания обра­ зов в проблеме искусственного мышления.

В проблеме искусственного мышления можно выделить следующие аспекты.

1.Философский, методологический аспект, связанный как с работами В. И. Ленина по теории отражения, так и

ссовременными работами по системной методологии и не­ классической логике. Значительное место здесь должны занимать результаты работ академика П. К. Анохина, ка­ сающиеся интегративной деятельности мозга.

2.Нейрофизиологический аспект, в котором, по мнению автора, необходимо выступать с позиций бионики, черпая

для формальных построений информацию о строении и работе отдельных клеток и совокупностей клеток мозга человека и животных. Данная информация должна быть в первую очередь представлена работами биофизиков и нейрофизиологов. К данному аспекту отнесем психологи­ ческий аспект, результат которого, так же как и в нейро­ физиологическом аспекте, заключается в информации для некоторых формальных построений, полученной эмпири­ ческим путем в процессе работы с естественным мозгом. Сюда же, естественно, следует отнести эвристическое про­ граммирование.

3. Формальный аспект, в котором в настоящее время в постановочном плане нет полной ясности. Акцент здесь делается, пожалуй, лишь на четырех в настоящее время

мало связанных между собой вопросах: синтез семиоти­ ческих систем, синтез систем распознавания образов, син­ тез надежных систем из ненадежных элементов, синтез систем, доказывающих теоремы.

4. Аспект, связанный с разработкой специализирован ных систем, реализующих алгоритмы, полученные в ре­ зультате рассмотрения формальных методов. При доста­ точно высоком теоретическом уровне построения алгорит­ мов, реализуемых специализированными системами, ос­ новной вопрос здесь заключается в привлечении новой технологии, связанной с использованием интегральных схем, схем на молекулярном уровне, голографических методов, а также методов, связанных с кристаллической и коллоидной химией. Проблему построения указанных специализированных систем, по нашему мнению, необхо­ димо связывать с проблемой построения ЦВМ четвертого поколения.

Предлагаемая работа касается в основном одного из вопросов формального аспекта, а именно синтеза систем распознавания образов, и в некоторой степени аспекта, связанного с разработкой специализированных систем рас­ познавания образов. Если придерживаться классификации подходов к синтезу систем распознавания образов, изло­ женной в [Л. 15], то в данной работе мы не касаемся ме­ тодов, связанных с эвристическим поиском узко специали­ зированных способов распознавания. Основное внимание уделяется построению более или менее универсальной си­ стемы.

В книге содержится систематическое изложение методов синтеза многослойных (в определении Ф. Розенблатта) систем распознавания образов. Книга построена по плану, представленному в табл. В-1, где показаны основные этапы синтеза (исключая введение и заключение), а также взаимосвязь между ними. Основой для рассмотрения яв­ ляется системный подход к синтезу алгоритмов распозна­ вания образов.

Ниже дается краткая характеристика этапов синтеза многослойных систем распознавания образов. Многослойность понимается как особое свойство структуры преобра­ зования, осуществляемого разомкнутой системой распозна­ вания (СР) при топологическом, а не символическом его представлении.

Ф. Розенблаттом были рассмотрены многослойные си­ стемы, где элементы в каждом слое находятся в равноправ-

4

Т а б л и ц а В-1

Глава 1

Исследование харак­ теристик входного

Плавав Организация и ана­ л и з процедуры поие­ на знстремума функ­ ционалов Вторич­ ной оптимиза­

ции

Глава 7 Построение замкнут ых СР

Глава 8 Исследование замкнутых СР

Т1

Глава to

Выбор информативных признаков в СР

Глава 11 Вопросы построения специализированных многослойных СР

5

ном топологическом отношении к элементам других слоев. Слой образуют сенсорные элементы, являющиеся источни­ ком сигналов для ассоциативных элементов трехслойного персептрона. Ассоциативные элементы также образуют слой элементов, входом которых являются выходные сиг­ налы сенсорных элементов, а выходные сигналы поступают на вход элементов следующего слоя. Многослойной систе­ мой называется система элементов с объединением их в от­ дельные слои с топологически равными свойствами и раз­ личным характером связей между слоями элементов.

В гл. 1 при исследовании характеристик входного сиг­ нала системы распознавания вводится характеристика ква­ лификации учителя, позволяющая получить выражение для функций распределения входного сигнала, включаю­ щих в себя как частный случай известные режимы обуче­ ния и самообучения. В общем случае квалификация учи­ теля вводится различной для образов, принадлежащих объективно различным классам. Показывается возмож­ ность введения более тонких характеристик входного сиг­ нала, например «собственного мнения учителя о своих способностях». Эта характеристика входного сигнала СР, вероятно, будет полезна при разработке алгоритмов на­ стройки серийных СР с помощью человека или реальных технических устройств с ограниченными возможностями.

Постановка задач обучения и самообучения СР в данной книге практически совпадает по содержанию с постановкой, рассматриваемой в работах [Л. 1, 3, 4, 8, 9, 14, 15, 31, 40, 41 ]. Формальная постановка задачи обучения СР заклю­ чается в аппроксимации заданной выборочно функции ука­ заний учителя некоторым автоматом, свойства которого заданы. Формальная постановка задачи самообучения си­ стемы распознавания в данной книге рассматривается как выделение в пространстве входного сигнала областей мод функции распределения совокупности образов на входе. Формальная постановка обучения СР учителем, имеющим конечную квалификацию, изложена в гл. 2.

Существующие разработки в области распознавания образов в основном относятся к стационарным образам, когда распределение входного сигнала СР не зависит от времени. В данной книге рассматриваются нестационарные образы, когда распределение входного сигнала СР зависит от времени. В качестве критериев первичной оптимизации многослойных систем распознавания образов в режиме обучения рассматривается в основном класс критериев

6

теории статистических решений, таких как критерий мак­ симума апостериорной вероятности, критерий минимума средней функции риска, критерий минимума средней функ­ ции риска при условии равенства между составляющими средней функции риска для образов различных классов, критерий минимума средней функции риска при условии задания значения составляющей средней функции риска для одного из классов.

В режиме самообучения предпосылкой формирования критерия и функционала первичной оптимизации СР слу­ жит представление плотности распределения входного сиг­ нала в виде многомодальной функции, где каждой моде с некоторой вероятностью соответствует класс. В качестве критериев первичной оптимизации СР в режиме самообу­ чения на первом этапе исследований используются крите­ рии, предложенные М. И. Шлезингером и развитые в ра­ боте [Л. 40]. Данные критерии потребовали естественного обобщения при переходе к континууму классов и решений СР. Отдельным вопросом, рассматриваемым в книге, яв­ ляется вопрос формирования функционала первичной оп­ тимизации СР в случае произвольной квалификации учи­ теля.

После построения оптимальной модели СР (гл. 2) про­ цедура синтеза идет по трем направлениям в зависимости от имеющейся априорной информации (табл. В-1). Кон­ структор СР должен на данном этапе определить, по какому из направлений необходимо реализовать оптимальную мо­ дель, рассматривая имеющуюся у него в наличии априор­ ную информацию. Условно процедура выбора направле­ ния реализации оптимальной модели СР представлена граф-схемой на рис. В-1. Здесь: ребро gy— результаты по­ строения оптимальной модели СР; вершина 1 — факт на­ личия или отсутствия информации о представлении услов­ ной плотности распределения образов внутри классов в не­ которой функциональной форме с точностью до конечного числа параметров; ребро g2— реализация оптимальной модели СР с настройкой по разомкнутому циклу, если есть информация о представлении указанной условной плот­ ности в некоторой функциональной форме с точностью до конечного числа параметров; ребро g3 — реализация оп­ тимальной модели СР с настройкой по замкнутому циклу, если данная информация отсутствует; вершина 2 — факт наличия или отсутствия фиксации структуры разомкнутой СР; ребро g4 — реализация СР с фиксированной структу­

7

рой, настраивающихся по замкнутому циклу; ребро g&— реализация СР с переменной структурой.

Отметим, что в простейшем случае системы распознава­ ния двух классов с двумя решениями структура разомкну­ той СР определяет общий вид разделяющей поверхности в многомерном пространстве признаков.

Разделы гл. 3, посвященные построению, особенностям реализации и оценке точности СР, настраивающихся по разомкнутому циклу, носят в данной книге вспомогатель­ ный характер, дополняя общую мето­ дику синтеза СР, основным предме­ том рассмотрения которой в книге являются моменты, связанные с реб­

рами g4 и g5 графа на рис. В-1.

В случае СР, настраивающихся по разомкнутому, циклу, априори с точ­ ностью до конечного числа парамет­ ров задаются выражения для услов­ ных плотностей распределений сово­ купностей образов внутри классов. Подобное априорное задание указан­ ных условных плотностей, естест­ венно, резко ограничивает возмож­ ности СР при распознавании образов с характеристиками, изменяющимися в широких пределах. Однако если информация о виде условных плотно­

стей имеется, то ее использование приводит к упрощению реализации СР.

Необходимо сказать несколько слов о связи математи­ ческой статистики и теории статистических решений с син­ тезом СР, настраивающихся по разомкнутому циклу. Пред­ мет математической статистики и теории статистических решений представляет собой изучение распределений ре­ альных и искусственных случайных процессов и изучение дискриминантных свойств данных распределений. Предме­ том теории распознавания образов является изучение ди­ скриминантных свойств распределений (в этом случае син­ тез СР, настраивающихся по разомкнутому циклу, сильно пересекается с теорией статистических решений), а также изучение распределений па более высоком уровне, чем в ма­ тематической статистике, при переходе к континуальным моделям с помощью многослойных СР.

Именно поэтому при построении СР, настраивающихся

8

по разомкнутому циклу, условная плотность может иметь вид любого типового распределения, рассматриваемого математической статистикой. Классификация таких рас­ пределений приведена в книге в соответствующей главе. Приведены также результаты построения СР, настраиваю­ щихся по разомкнутому циклу и оптимальных для неко­ торых типовых распределений, а также для совокупности распределений. Построение СР, настраивающихся по ра­ зомкнутому циклу, методологически проводится в режи­ мах обучения, самообучения и при произвольной квалифи­ кации учителя. Реализация СР, настраивающихся по ра­ зомкнутому циклу, является самостоятельной задачей. Значительное сокращение объема памяти и времени вычис­ лений при этом достигается за счет использования рекур­ рентных методов реализации оптимальных фильтров оценки моментов нестационарных дискретных многомерных случайных процессов [Л. 48].

Проблема аналитической оценки точности СР, настраи­ вающихся по разомкнутому циклу, является мало иссле­ дованной. Общая методика оценки точности таких СР со­ стоит из следующих этапов:

1) для априорных характеристик входного сигнала ис­

в частности общего вида разделяющей поверхности, оце­ нивается точность вычисления настраиваемых параметров СР;

3) по результатам предыдущего этапа и характеристи­ кам входного сигнала СР определяется распределение ве­ роятности правильного распознавания.

Вкниге данная методика определяется и иллюстри­ руется на случае нестационарных образов с частными ти­ повыми распределениями.

Вслучае конечной памяти СР (блока настройки СР) имеем дело с системой со случайными в текущий момент времени параметрами, настраивающимися по характери­ стикам входного сигнала. Вычисленное в текущий момент времени значение вероятности правильного распознавания даже по генеральной совокупности образов является слу­ чайной величиной, распределение которой получается ус­ реднением по множеству всех состояний системы со слу­ чайными параметрами. При этом основной целью исследо­ вания являются параметры распределения (математическое ожидание, дисперсия и т. д.) вероятности правильного рас­

9