Отсюда вектор значений порогов, вычисляемый на основе (8.80), будет равен
0 0
2 .
Если на вход сети подать вектор
x1 , то Wx1 [ 2
2 0]. Сравни-
вая
W x1 с пороговыми
значениями, получаем на
выходе вектор
y1 [0
1 1], что соответствует правильному решению.
x1 , например
Если же на вход сети подать искаженный вектор
x [1
0 1 0], то
Wx [ 2
2 2], и на выходе сети будет сформирован
бинарный вектор
y [0
1
0], который не соответствует ни одному из
векторов-прототипов x1
и
x2 , сохраненных в памяти. В данном случае
сеть формирует ошибочный выходной образ, что согласуется с (8.78). Таким образом, линейная ассоциативная ИНС не обеспечивает подавление перекрестных шумов и, следовательно, может использоваться только для восстановления предварительно запомненных образов.
Лучшие результаты восстановления можно получить при использовании ИНС Хэмминга, входные векторы которой являются бинарными.
При подаче на вход такой сети искаженного вектора признаков x
восста-
навливается тот сохраненный вектор-прототип x1 , x2 , …, xp ,
который
ближе всего к вектору x в смысле расстояния Хэмминга. Расстояние Хэмминга НD между двумя бинарными векторами равно количеству несовпадающих битов векторов. Например, расстояние Хэмминга между би-
нарными векторами x1
= (1, 0, 0, 1)
и x2
= (1, 1, 0, 1) равно 1.
В отличие от ЛАП, строки матрицы весов связей сети Хэмминга
представляют запомненные векторы-прототипы:
x1 (1)
x2 (1)
...
xm (1)
(2)
x2 (2)
...
x1
xm (2)
WH
...
,
x
1
( )
x
2
( )
...
x
m
( )
...
( p)
x2 ( p)
...
x1
xm ( p)
Распознавание образов и обучение
471
где x1( ), x2( ), …, xm( ) – бинарные значения компонент –го вектора-
прототипа x . При подаче на вход сети Хэмминга бинарного вектора признаков x вычисляются сетевые функции
net( ) xT x
m
xi xi ( ) m HD (x,x ) .
i1
Всети Хэмминга имеется второй слой нейронов, который обеспечивает выбор нейрона-победителя среди НЭ первого слоя. Победителем считается НЭ первого слоя с максимальным значением сетевой функции
net ( ) (минимальным значением
HD (x,x )). Это обеспечивает форми-
рование на выходе сети индекса вектора-прототипа, ближайшего к вектору входных признаков. Зная указанный индекс, можно на выходе сети вос-
становить либо вектор x , либо ассоциированный с ним вектор y . Таким
образом, сеть Хэмминга может быть использована при построении как автоассоциативной, так гетероассоциативной памяти.
8.5.6.2. Сеть Хопфилда. Рассмотренные выше ИНС представляли сети с прямыми связями. Иным важным типом ИНС являются сети с обратными связями. На рисунке 8.26 изображена однослойная сеть с симметричными обратными связями, называемая сетью Хопфилда. Различают два вида сетей Хопфилда: непрерывные и дискретные.
Рисунок 8.26 – Сеть Хопфилда.
Рассмотрим дискретную сеть Хопфилда, которая является простейшей рекуррентной сетью. В начальный момент времени выходные значения сети инициализируются входным вектором x . Затем значения с выхода сети подаются на ее вход. Это приводит к установлению на выходе сети новых значений, которые опять поступают на вход и т.д. Указанный про-
wij wji . Выходные значе-
472
Глава 8
цесс повторяется до тех пор, пока значения, циркулирующие в сети, не зафиксируются, т.е., пока сеть не перейдет в одно из возможных устойчивых состояний.
Отметим, что в сети Хопфилда wii = 0 и
ния НЭ вычисляются по алгоритму
n
yi (t 1)
sgn( wij y j (t) i ) , i = 1, 2, …, n,
(8.81)
j 1
где t – номер шага вычислений.
Возможны два режима вычислений в сети: асинхронный и синхронный. В случае асинхронных вычислений в каждый момент времени устанавливается новое значение только на выходе одного НЭ. При этом на вход каждого вновь активизируемого НЭ подаются последние значения, установленные на выходах сети. Синхронное обновление выходных значений нейронов может приводить к возникновению предельных циклов [76].
Ниже рассмотрим только асинхронные сети.
Поведение сети Хопфилда
определяется энергетической функцией
1
n
n
n
E(y)
wij yi y j
i yi .
(8.82)
2
i 1 j 1
i 1
Основное свойство энергетической функции заключается в том, что значение E(y) уменьшается (или остается постоянным) при смене состояния любого узла сети. Покажем это. Пусть i–й нейрон переходит из состояния yi(t) в состояние yi(t+1). Тогда изменение значения энергетической функции составит [76]
n
E E(yi(t 1)) E(yi(t)) ( wij yj (t) i )(yi(t 1) yi(t)) neti yi , (8.83)
j 1
где yi yi(t 1) yi (t). При выводе выражения (8.83) учитывалось, что в асинхронной сети при смене состояния i–го НЭ остальные НЭ не меняют своих состояний, т.е. yj (t 1) yj (t) .
Для того чтобы показать, что Е имеет отрицательные значения, рассмотрим два случая. Предположим, что выходной сигнал i–ого НЭ меняет свое значение с -1 на +1. Тогда значение neti должно быть положительным, чтобы на выходе i–ого элемента установилось значение +1. Так как yi = 1 - (-1) = 2, то из (8.83) следует, что Е < 0.
Распознавание образов и обучение
473
Если предположить, что выходной сигнал i–го НЭ меняет свое значение с +1 на -1,то сетевая функция neti должна иметь отрицательное значение, чтобы обеспечить указанную смену значений. В этом случае yi = - 1 - 1 = - 2 и Е < 0.
Таким образом, при смене состояния любого НЭ значение энергетической функции уменьшается. Устойчивые состояния, которые возникают
Сгеометрической точки зрения энергетическую функцию можно рассматривать как некоторую холмистую поверхность, имеющую ложбины. Шар, установленный на вершине холма, будет стремиться занять устойчивое состояние, что приведет к скатыванию его в ложбину. Такие устойчивые состояния сети Хопфилда называют аттракторами (от англ. to attract – притягивать).
Наличие аттракторов позволяет использовать сеть Хопфилда в качестве автоассоциативной памяти. При этом сеть Хопфилда обеспечивает подавление перекрестных шумов и позволяет восстанавливать запомненные образы по неполным или зашумленным данным.
Веса связей сети Хопфилда, используемой для запоминания бипо-
лярных бинарных векторов x , определяются выражением
p
wij xi ( )xj ( ) , где
i j
и wij 0.
(8.84)
1
Выражение (8.84) соответствует автокорреляционной матрице, устанавливающей взаимосвязь координат запоминаемых векторов. Пороги i имеют в этом случае нулевые значения.
Если входной вектор x является униполярным, т.е. xi( ) {0,1}, то веса связей и значения порогов определяются формулами:
p
wij (2xi( ) 1)(2xj( ) 1), где
i j
и wij 0;
(8.85)
1
1
n
i
wij .
(8.86)
2
j 1
Правила назначения весов связей сети Хопфилда (8.84) и (8.85) аналогичны правилам, используемым в ЛАП, и вытекают из правила обучения Хебба.
474
Глава 8
Рассмотрим пример. Пусть требуется построить автоассоциативную память на основе ИНС Хопфилда для двух векторов:
x(1) [ 1 1 1 1]T и x(2) [1 1 1 1]T .
Используя (8.84), вычислим матрицу весов связей сети Хопфилда
0
2
0
0
2
0
0
0
w
0
0
0
2
.
0
0
2
0
Предположим, что на вход сети подан вектор x [1 1 1 1]T . Тогда в соответствии с (8.81) будем получать на выходе ИНС следующие результаты:
-
первая итерация:
1 ]T;
начальный вектор
= [ 1
-1
1
обновление 1-го бита = [ 1
-1
1
1 ]T;
обновление 2-го бита = [ 1
-1
1
1 ]T;
обновление 3-го бита = [ 1
-1
1
1 ]T;
обновление 4-го бита = [ 1
-1
1
-1 ]T;
-
вторая итерация:
-1 ]T;
обновление 1-го бита = [ 1
-1
1
обновление 2-го бита = [ 1
-1
1
-1 ]T;
обновление 3-го бита = [ 1
-1
1
-1 ]T;
обновление 4-го бита = [ 1
-1
1
-1 ]T.
Отметим, что в данном примере реально было выполнено изменение только четвертого бита во время первой итерации, так как
4
net4 (1) w1 j yj (1) 2 0 .
j 1
Векторы x(1), x(2), x и y рассматриваемого примера можно представить в виде черно-белых пиктограмм, показанных на рисунке 8.27. Сеть распознает пиктограмму, соответствующую вектору x , как искаженную версию пиктограммы вектора x(2). Следовательно, на выходе сети восстанавливается образ x(2). Такое поведение сети объясняется тем, что векто-
Распознавание образов и обучение
475
ры x и x(2)отличаются только одним битом, а векторы x
и x(1) – тремя.
Вектор x ближе к вектору x(2) в смысле расстояния Хэмминга, и, следо-
вательно, на выходе сети восстанавливается вектор x(2) .
Однако более
полное представление о поведении сети можно получить из анализа энергетической функции.
Для рассматриваемого примера
1
n
n
E(y)
wij yi yj .
(8.87)
2
i 1
j 1
Рисунок 8.27 – Изображение бинарных векторов.
Подставив в (8.87) соответствующие значения элементов матрицы W, получим
Так как выходной вектор является четырех элементным, то возможны 16 различных состояний, изображенных на рисунке 8.28. Устойчивыми являются состояния, соответствующие минимумам энергетической функции (8.88). Возможные направления смены состояний показаны с помощью стрелок. Переход из одного состояния в другое возможен только в случае, если векторы состояний различаются одним битом (в силу асинхронного принципа работы сети) и значение энергетической функции нового состояния сети уменьшается.
В рассматриваемой сети Хопфилда имеется четыре устойчивых состояния, характеризуемых минимальным значением энергетической функции, равным -4. Два устойчивых состояния сети соответствуют векторам x(1) и x(2), а два других состояния представляют векторы:
xd(1) [1 1 1 1] и xd(2) [ 1 1 1 1].
476
Глава 8
Рисунок 8.28 – Состояния асинхронной сети Хопфилда.
Векторы xd(1) и xd (2) получаются из векторов x(1) и x(2) простой инверсией значений битов, поэтому их называют дополнительными векторами. Наличие в сети дополнительных устойчивых состояний приводит к зависимости поведения асинхронных ИНС Хопфилда от порядка активизации НЭ сети. Например, при исходном начальном состоянии, заданном
вектором [ 1
1
1 1], в сети возможны следующие переходы (см. ри-
сунок 8.28):
[ 1
1
1
1] [1
1
1
1] [1
1
1
1] = x(2) ;
[ 1
1
1
1] [ 1
1
1
1] [ 1
1
1
1] =xd (2);
[ 1
1
1
1] [ 1 1
1
1] [ 1 1
1
1] = x(1) ;
[ 1
1
1
1] [1
1
1
1] [1
1
1
1] = xd (1).
Распознавание образов и обучение
477
Это происходит потому, что расстояние Хэмминга между исходными и результирующими векторами x(1) ,xd (1), x(2) ,xd (2) одинаковое и равно 2. Таким образом, построение автоассоциативной памяти на основе ИНС Хопфилда сопряжено с двумя проблемами:
1)проблемой дополнительных устойчивых состояний, соответствующих инверсным бинарным векторам запоминаемых образов;
2)проблемой неоднозначности результатов восстановления. Наличие первой проблемы означает, что сеть Хопфилда запоминает
не только исходные образы, но и инверсные образы, задаваемые дополнительными векторами. Вторая проблема тесно связана с емкостью сети Хопфилда. Емкостью сети называют количество различных образов (век- торов-прототипов), которые можно запомнить в сети из N нейронов.
При оценивании емкости ассоциативной памяти, реализованной в виде ИНС Хопфилда, вводится параметр, называемый радиусом аттрактора . Радиус представляет собой расстояние, которое определяет область “притяжения” вокруг аттрактора y . Ассимптотическая оценка емкости сети Хопфилда равна [76]
C (1 2 )2 N , 0 1 .
4lnN
2
Если P < С, то все образы, запоминаемые в сети, будут восстанавливаться с вероятностью близкой к единице. Если допустимы некоторые ошибки восстановления, то
C
(1 2 )2
N
1
,
0
.
2lnN
2
Если положить = 0, то емкость сети Хопфилда может быть опреде-
лена из неравенства
N
N
C
2lnN .
4lnN
Например, емкость сети Хопфилда
из 100 нейронов будет находиться в
пределах 5,4 < C < 10,8. Для сравнения емкость сети Хэмминга определя-
ется соотношением 2 N
, 1 [74].
8.5.7. Коннекционистские экспертные системы
Интеграция моделей представления знаний и правил обучения нейронных сетей – важное направление развития СИИ. Объединение ней-
478
Глава 8
ронных сетей и баз знаний может выполняться различными способами. В простейших случаях нейронная сеть выполняет предварительную или завершающую обработку информации в системах, основанных на знаниях. В более интересных случаях осуществляется встраивание нейронных сетей в базы знаний, и наоборот.
Системы, объединяющие в себе возможности, предоставляемые нейронными сетями и моделями представления знаний, относят к группе гиб-
ридных интеллектуальных систем.
Рассмотрим два примера. В первом примере рассмотрим принцип интеграции моделей представления знаний и нейронных сетей, а во втором
– совместное функционирование нейронной сети и ЭС продукционного типа.
Интеграция ИНС с продукционными правилами. В этом случае множество продукционных правил определяет первоначальную структуру нейронной сети. После параметрического или структурного обучения сети выполняется обратное восстановление множества правил по нейронной сети. Это позволяет улучшить базу правил с помощью алгоритмов обучения нейронных сетей.
Для реализации такого подхода предложено использовать правила в форме дизъюнктов Хорна [38,76]
l1 &l2 &...&ln r,
где l1,l2,...ln – предпосылки правила; r – заключение правила. Каждое правило соответствует фрагменту нейронной сети, изображенной на рисунке
8.29.
Рисунок 8.29 – Фрагмент ИНС в виде правила
Множество правил образует сеть. При этом узлы первого слоя сети соответствуют предпосылкам правил, которые связаны с конъюнктивными узлами первого скрытого слоя. В свою очередь, узлы представляющие заключения различных правил дизъюнктивно связаны с соответствующими конъюнктивными узлами. В итоге, база продукционных правил отобража-
Распознавание образов и обучение
479
ется в виде многослойной нейронной сети с чередующимися конъюнктивными и дизъюнктивными слоями (рисунок 8.30). Коэффициенты уверенности правил ассоциируются с весами связей НЭ сети.
На этапе обучения сети осуществляется подстройка весов связей, и выполняются структурные преобразования сети. Результаты обучения сети в дальнейшем переносятся в базу правил, работа с которой поддерживается с помощью операторов модификации коэффициентов уверенности, удаления, обобщения и специализации. Первый оператор непосредственно связан с изменением весов связей ИНС в ходе обучения. При этом обучение может осуществляться различными методами в зависимости от структуры сети. Например, на основе алгоритма обратного распространения ошибки. Остальные операторы связаны с введением новых или удалением существующих соединений в ИНС. Такие изменения обычно происходят в структурно-адаптивных ИНС.
База правил
Если А и В, то Т (0,9) Если С и Е, то R (0,5) Если D и Е, то R (0,7) Если R и Т, то S (0,9)
Рисунок 8.30 – Пример ИНС, основанной на правилах
Удаление соединения связано с обнулением весов связей, характеризуемых небольшими значениями. Удаление соединения, идущего от НЭ конъюнктивного слоя к НЭ дизъюнктивного слоя, соответствует удалению правила. Удаление соединения, идущего от НЭ дизъюнктивного слоя или входного слоя к НЭ конъюнктивного слоя, соответствует оператору обобщения, так как исключение лишней конъюнктивной связи делает условие правила более общим. Добавление соединения между НЭ конъюнктивного
