Файловый архив студентов. Файловый архив студентов.
1264 вуза, 4628 предмета.
/ Регистрация
FAQ Обратная связь Вопросы и предложения
Добавил:
natribu.org Все что нашел в интернете скидываю сюда Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Санкт-Петербургский государственный электротехнический университет "ЛЭТИ"
Предмет:
Инженерия знаний
Файл:

Точно Не проект 2 / Не books / Источник_1

.pdf
Скачиваний:
10
Добавлен:
01.02.2024
Размер:
20.67 Mб
Скачать
☆

460

Глава 8

 

 

Рисунок 8.21 – Отображение фонем на двумерной схеме ИНС

В[73] отмечается, что правило (8.69) не гарантирует устойчивости классов, обнаруживаемых состязательной ИНС, если не обеспечить уменьшение коэффициента обучения до нуля. При этом сеть теряет гибкость – способность реагировать на новые данные. В состязательной ИНС, обучаемой на основе правила (8.69), трудно обеспечить необходимую гибкость сети и устойчивость формируемых классов. Данная проблема решается в состязательных ИНС, использующих теорию адаптивного резонанса (АРТ), которая была предложена С. Гроссбергом в 1976 году.

Всетях АРТ дилемма гибкость – устойчивость решается благодаря тому, что сохраняемые в сети векторы-прототипы классов модифицируются только в том случае, если входные векторы “достаточно близки” к этим прототипам. При этом говорят, что входной вектор и прототип находятся в резонансе друг с другом.

Если между входным вектором и ни одним из прототипов, сохраненных в сети, не наблюдается достаточного сходства (подобия), то в структуру сети вводится новый НЭ, вектор весов которого и будет в дальнейшем рассматриваться как новый прототип. Понятие “достаточное сходство” за-

висит от параметра 0 1, который называется бдительностью. Чем больше значение , тем точнее должно быть сходство. Большие значенияприводят к формированию в сети большего количества классов. Малые значения формируют небольшое число прототипов и приводят к “грубой” классификации.

Распознавание образов и обучение

461

 

 

Существуют две основные разновидности сетей АРТ: АRТ1 и АRТ2. Сети АRТ1 работают с бинарными входными значениями (0/1), а сеть АRТ2 – с аналоговыми.

Рисунок 8.22 – Сеть, функционирующая на основе алгоритма АRТ1

На рисунке 8.22 изображена сеть АRТ1. В отличие от простейшей состязательной сети, изображенной на рисунке 8.17, в сети АRТ1 имеются прямые и обратные связи. Веса прямых связей wij представляют собой

нормализованные копии весов обратных связей t ji . На рисунке 8.22 об-

ратные связи изображены штриховыми линиями и показаны только для одного выходного НЭ. В сети АRТ1 имеются также латеральные связи, обеспечивающие реализацию принципа состязательности НЭ. Латеральные связи i-го НЭ, направленные к соседним НЭ, являются тормозящими. Благодаря латеральным связям в каждый момент времени победителем оказывается НЭ выходного слоя с максимальным значением скалярного произведения wiT x , где x – входной бинарный вектор, компоненты которого принимают значения 0 и 1. Отметим, что бинарными являются также

реакции yi выходных НЭ и веса обратных связей t ji

Векторы весов обратных связей ti (ti1,ti2,...,tim )T рассматриваются как векторы-прототипы, сохраняемые в сети. В рассматриваемой сети выполняется сопоставление векторов ti с вектором x, представляющим входной образ. Если сопоставление выполняется успешно (т.е. между вектором x и одним из векторов ti имеет место “достаточное сходство”), то соответ-

462

Глава 8

 

 

ствующий вектор ti представляет класс, к которому относится входной вектор.

Рассмотрим алгоритм обучения сети АRТ1. В начале обучения tji 1 и wij 1/(1 m). В ходе обучения можно запрещать некоторым НЭ

выходного слоя участвовать в состязательном процессе. Для этого используются две метки: “доступен” и “недоступен”. Алгоритм предусматривает выполнение следующих действий [68].

1.Подать на вход сети очередной вектор x.

2.Снабдить все НЭ выходного слоя меткой ”доступен”.

3.Выполнить взвешивание элементов входного вектора x

m

neti wij xj ,

j 1

где wij - нормализованные веса связей

w ij

t

ij

.

 

m

0.5 tij

j 1

4. По максимальному значению сетевой функции neti выбрать нейрон-

победитель i , и выполнить присвоение yi 1.

5.Выполнить сопоставление входного вектора x и прототипа ti* , вы-

числив отношение

 

 

 

 

m

 

 

 

 

 

ti* j x j

 

r

t

* x

 

j 1

 

 

i

 

 

 

m

 

m

 

 

x j

 

x j .

(8.75)

 

j 1

 

j 1

 

Данное отношение определяет подобие битовых структур векторов ti* и x, устанавливая относительное количество совпадающих единичных битов векторов ti* и x по сравнению с количеством единичных битов векто-

ра x.

6. Если r , где – параметр бдительности, то имеет место резо-

нанс x и ti* ; перейти к пункту 7.

Распознавание образов и обучение

463

 

 

 

Если r и в выходном слое имеются еще НЭ, отмеченные меткой

“доступен”, то отметить НЭ i меткой “недоступен”, положить

yi 1,

перейти к пункту 4.

 

 

Если в выходном слое все нейроны отмечены меткой “недоступен”,

то

ввести в

выходной слой новый НЭ i с начальными

весами

wij

1/(1 m)

и tji 1.

 

7. Обновить веса связей НЭ i , используя правило

 

 

 

ti j (t 1) ti j (t) xj .

(8.76)

При заданном входном векторе x алгоритм АРТ1 может иметь два исхода. Если сопоставление векторов ti* и успешно, то вектор ti* об-

новляется в соответствии с правилом (8.76), и на выходе сети активным будет НЭ i , представляющий класс, к которому отнесен входной сигнал.

Если в сети не обнаруживается подходящих векторов-прототипов ti ,

то в выходной слой вводится дополнительный НЭ i , вектор весов связей которого ti* будет равен входному вектору x (см.(8.76)). Данный нейрон

будет представлять новый класс. На практике в выходной слой сети АRТ1 заранее включают определенное число НЭ, которые активизируются, если в сети не находится ни одного НЭ, вектор весов которого сопоставим с входным вектором. Если рассматривать вектор-прототип ti* как строку битов, то правило (8.76) обеспечивает только удаление единичных битов из этой строки в зависимости от значений x. Добавление единичных битов в ti* никогда не происходит. Это означает, что вектор-прототип не может

повторно получать одни и те же значения. Данное свойство гарантирует устойчивость алгоритма, так как после конечного числа предъявлений входных векторов x веса связей перестают изменяться. В то же время расширение сети АRТ1 за счет дополнительных НЭ обеспечивает ее необходимую гибкость.

В заключение отметим, что оригинальная сеть АRТ1, разработанная Гроссбергом, была аналоговой, и ее поведение описывалось дифференциальными уравнениями. Сеть хорошо выполняла классификацию бинарных входных сигналов. Однако она оказалась чувствительной к шумам, содержащимся во входных данных.

8.5.5.3. Неокогнитрон. Рассмотренные выше состязательные ИНС являются однослойными. В результате состязательного процесса, протекающего в этих сетях, для каждого входного вектора x в выходном слое выбирается только один НЭ, который считается победителем. Если допус-

464

Глава 8

 

 

тить существование в одном слое нескольких нейронов – победителей, то можно построить многослойную самоорганизующуюся (состязательную) ИНС, обеспечивающую выделение обобщенных признаков классов на уровне каждого слоя.

В качестве примера многослойной иерархической ИНС, использующей состязательный принцип обучения, рассмотрим неокогнитрон, разработанный К.Фукушимой и С.Миякой. Неокогнитрон изначально предназначался для распознавания рукописных знаков, хотя его авторы подчеркивали, что они заинтересованы в разработке модели зрительной системы человека [38]. Поэтому принципы, положенные в основу неокогнитрона, базировались на исследованиях Д. Хьюбела [47] и Т. Визела в области функциональной архитектуры нейронов зрительной коры (см. главу 9).

Структурная схема неокогнитрона изображена на рисунке 8.23, где каждый прямоугольник представляет собой двумерный массив нейронов, который называют плоскостью. Неокогнитрон состоит из девяти слоев, которые содержат различное число плоскостей НЭ. Числа, указанные внизу слоя, показывают размерность плоскости НЭ и количество плоскостей, входящих в слой. Входной слой Uo образован из фоточувствительных элементов и называется сетчаткой. Каждый следующий уровень неокогнитрона состоит из двух слоев, обозначаемых Us и Uc. Слой Us содержит S- нейроны с изменяемыми весами связей, а слой Uc – C-нейроны с фиксированными весами связей. НЭ слоя Us1 соединены с небольшими участками сетчатки, представляющими рецептивные поля. При этом соединения организованы так, чтобы НЭ, находящиеся на одних и тех же позициях в разных массивах (плоскостях) слоя, были связаны с одним и тем же рецептивным полем сетчатки. Нейроны первого S-слоя реагируют на простые признаки предъявляемых изображений, например, прямолинейные отрезки, имеющие разную ориентацию на плоскости. Каждый S-нейрон одной и той же плоскости реагирует на один и тот же признак, который может локализоваться в различных позициях входной плоскости. S-нейроны разных плоскостей реагируют на разные признаки. Таким образом, множество плоскостей слоя Us1 позволяет выделить в исходном изображении, проецируемом на сетчатку, 12 различных признаков. Причем эти признаки могут обнаруживаться на любом участке сетчатки.

НЭ элементы С-слоя интегрируют реакции группы нейронов предыдущего S–слоя. При этом реакция C-нейрона оказывается менее чувствительна к локализации обнаруживаемого признака во входном слое. Это свойство позволяет неокогнитрону распознавать знаки вне зависимости от их расположения на сетчатке.

Если количество С-плоскостей равно количеству S-плоскостей предыдущего слоя, то каждый C-нейрон связан с группой нейронов только одной S-плоскости. Если количество C-плоскостей меньше количества

Распознавание образов и обучение

465

 

 

плоскостей предыдущего S-слоя, то С-нейрон может быть связан с несколькими разными S-плоскостями.

Рисунок 8.23 – Структурная схема неокогнитрона

Отметим некоторое отличие между первым S-слоем и последующими S-слоями. Нейроны первого S-слоя соединены с сетчаткой и воспринимают первичные признаки. Нейроны последующих S-слоев связаны с соответствующими группами нейронов, расположенными в разных С- плоскостях предыдущего слоя, и воспринимают некоторые обобщенные признаки.

На рисунке 8.24 изображена детальная схема связей нейронов в неокогнитроне. С каждым S-нейроном связан добавочный V-нейрон, на вход которого подаются сигналы того же рецептивного поля. Выходной сигнал V-нейрона является тормозящим для S-нейрона. В процессе обучения веса связей S-нейрона изменяются по правилу Хебба. Ранее отмечалось, что правило Хебба может приводить к неограниченному увеличению весов связей и реакции линейного НЭ. Введение дополнительного V-нейрона, оказывающего тормозящее воздействие, ограничивает реакцию связанного с ним S-нейрона.

Наличие нескольких уровней обработки позволяет неокогнитрону интегрировать простейшие локальные признаки, обнаруженные на нижних уровнях, в более сложные признаки, выделяемые на последующих уровнях. Нейроны последнего С-слоя интегрируют информационные признаки, выделяемые на нижних уровнях, и распознают конкретный образ.

Обучение неокогнитрона можно выполнять в режиме обучения с учителем или без учителя. Рассмотрим режим обучения без учителя. В

466

Глава 8

 

 

этом случае удобно представить все S-плоскости одного слоя в виде стопки плоскостей, расположенных вертикально одна над другой. При таком представлении S-нейроны, реагирующие на одни и те же локальные области предыдущего слоя, будут расположены один над другим, образуя столбец S-нейронов.

Рисунок 8.24 – Связи НЭ неокогнитрона

В начале обучения веса возбуждающих связей инициализируется небольшими положительными случайными числами, а весам тормозящих связей присваиваются нулевые значения. После предъявления очередного изображения, в каждом столбце S-нейронов выбирается нейрон-победитель с максимальной реакцией. Затем анализируются S-нейроны одной плоскости. Если на S-плоскости имеются два или более нейрона-победителя, то среди них выбирается нейрон с наибольшей реакцией. Такая двухэтапная процедура поиска нейрона-победителя позволяет выбрать один S-нейрон с наиболее сильной реакцией в пределах плоскости. При этом нейроныпобедители каждой из S–плоскостей должны принадлежать разным столбцам. Иными словами, каждый нейрон-победитель должен быть связан со своим рецептивным полем. Веса связей нейрона-победителя каждой из S- плоскостей увеличиваются пропорционально входному сигналу. В дальнейшем все нейроны одной и той же S-плоскости получают веса нейронапобедителя. Данный способ назначения весов связей называют механизмом разделения весов. Этот механизм обеспечивает настройку всех S- нейронов одной и той же плоскости на одну и ту же совокупность признаков, выделенных в пределах рецептивного поля нейрона. При этом каждый из S-нейронов является “ответственным” за свой участок входной плоскости.

В заключение отметим, что неокогнитрон может включать обратные связи, что позволяет строить на основе неокогнитрона системы ассоциативной памяти, которые способны при вводе части запомненных изображений восстанавливать все изображение.

Распознавание образов и обучение

467

 

 

8.5.6.ИНС с фиксированными весами связей и ассоциативная память

8.5.6.1.Ассоциативная память и сеть Хэмминга. Известны два способа доступа к информации, хранящейся в запоминающем устройстве: адресный и ассоциативный. Адресный способ характеризуется тем, что искомая информация жестко задана адресом – местом ее расположения в памяти. Ассоциативный способ доступа к информации основан на установлении соответствия (ассоциации) между хранимой в памяти информацией

ипоисковыми признаками. Содержимое ассоциативной памяти можно представить в виде множества пар

 

{(x1,y1),(x2,y2),...,(xp,yp)},

(8.77)

где x1, x2 ,..., xp

– входные векторы, задающие значения поисковых при-

знаков образов;

y1, y2 ,..., yp – выходные векторы, соответствующие извле-

каемым образам.

Ассоциативная память, реализуемая на основе ИНС, была независимо приложена Т. Кохоненом и Дж. Эндерсоном. Выделяют два основных типа ассоциативной памяти: гетероассоциативную и автоассоциативную.

В первом случае входному вектору x , который “достаточно близок” к вектору x , хранимому в памяти, ставится в соответствие выходной век-

тор y , где 1,2,...P . Во втором случае x = y для всех пар из (8.77).

Поэтому при подаче на вход запоминающего устройства вектора x, “дос-

таточно близкого” к вектору x , на выходе формируется вектор x .

Можно сказать, что ассоциативная память выполняет отображение образов входного пространства в выходное пространство. В случае автоассоциативной памяти размерности входного и выходного пространств совпадают, в случае гетероассоциативной памяти размерности указанных пространств различные. Разработка средств ассоциативной памяти – важное направление интеллектуализации современных ЭВМ [32].

Структурная схема линейной ассоциативной памяти (ЛАП) изображена на рисунке 8.25.

ЛАП представляет собой однослойную ИНС с прямыми связями. Важно отметить, что веса связей в такой сети являются фиксированными. Они вычисляются на этапе подготовки сети к работе. Цель функционирования сети заключается в восстановлении выходного образа на основе полной или неполной входной информации. Входные и выходные значения сети могут быть либо вещественными, либо бинарными.

468

Глава 8

 

 

Рисунок 8.25 – Линейная ассоциативная ИНС

Матрица весов связей сети соответствует корреляционной матрице, устанавливающей взаимосвязь входных и выходных образов сети

W y1x1T y2x2T ... y xT ... ypxTp ,

где y xT – внешнее векторное произведение. Внешнее векторное произ-

ведение yxT задается матрицей

 

y1

 

 

 

 

 

 

y1x1

y1x2 ...

 

y

 

 

 

x

 

... x

 

y

 

x

 

y

 

x

 

...

yxT

 

2

x

1

2

m

 

2

 

1

 

2

 

2

 

 

...

 

 

 

...

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

yn x2 ...

 

yn

 

 

 

 

 

 

yn x1

y1xm y2 xm

yn xm .

Такое формирование матрицы весов связей вытекает из правила обучения Хебба, в соответствии с которым

wij (t 1) wij (t) yi (t)xj (t) .

Предположим, что входные векторы ортогональны и нормализова-

ны, т.е. x T x

=0, если , и

xT x =1, если . При подаче на вход

сети вектора

xk , неискаженного шумом, получим

W x k

p

) x k

y k .

( y x T

 

1

 

 

Распознавание образов и обучение

469

 

 

Иными словами, на выходе сети будет восстановлен вектор yk , ассоциированный с входным вектором. Если предположить, что на вход сети подается вектор x xk k , соответствующий искаженному вектору xk , то

Wx

P

 

P

(x

 

 

( y xT )(xk

k ) yk

y

T k ) ,

(8.78)

 

1

 

1

 

 

 

где k – вектор шумов.

Исключив второе слагаемое в (8.78), получим на выходе опять вектор yk . Исключение второго слагаемого (8.78), представляющего перекрестный шум, требует введения в рассматриваемую ИНС нелинейных операций, которые будут рассмотрены ниже.

Если входные и выходные векторы являются униполярными бинарными векторами со значениями 0 и 1, то матрица весов связей определяется выражением вида [74]

P

 

wij (2yi ( ) 1)(2xj ( ) 1) ,

(8.79)

1

где yi( ) и xi( ) – соответственно i–ая и j–ая компоненты –го выходного и входного векторов. В этой формуле автоматически учитывается среднее значение двоичного признака, равное 0,5. Для того чтобы сформировать бинарный выходной вектор, каждый выходной НЭ сети сравнивает компоненты вектора W xk с порогом

 

 

1

 

 

m

 

 

 

i

 

wij .

(8.80)

 

 

 

2

 

 

j 1

 

 

Если

 

 

 

 

 

 

 

 

m

 

 

 

 

 

wij xj

 

i 0,

 

 

j 1

 

 

 

 

то соответствующий НЭ формирует

 

yi 1, в ином случае

yi 0.

Рассмотрим пример. Пусть

 

 

 

 

x1

[1,0,0,0],

y1

[0,1,1],

 

 

[0,0,0,1],

 

[1,0,1].

 

x2

y2

 

Тогда матрица весов в соответствии с (8.79) будет равна

Соседние файлы в папке Не books
Помощь Обратная связь Вопросы и предложения Пользовательское соглашение Политика конфиденциальности