электрических импульсов, поступающих через синапсы и дендриты, изменяется потенциал сомы нейрона. В момент достижения им некоторого порогового значения, нейрон вырабатывает электрический импульс, который распространяется вдоль аксона. Потенциал сомы резко снижается, нейрон как бы разряжается. Через некоторое время нейрон может опять сформировать импульс. Если импульсы, поступающие на синапс, приводят к повышению потенциала сомы, то такой синапс называют возбуждающим. Если импульсы, поступающие на синапс, снижают потенциал сомы, то синапс называют тормозящим. Биологический нейрон вырабатывает последовательность электрических импульсов, частота следования которых характеризует активность нейрона.
Рисунок 8.5 – Биологический нейрон
При построении ИНС в рассмотренную модель нейрона вносят существенные упрощения. При этом в зависимости от степени абстрагирования получают различные модели формальных (искусственных) нейроподобных элементов (НЭ) и, соответственно, ИНС. На практике широкое распространение получили ИНС с формально-логическими моделями НЭ, ведущими свою историю с 1943 г., когда Маккаллох и Питтс предложили соответствующую модель НЭ. Именно этот класс моделей с учетом их развития и рассматривается в дальнейшем. Вместе с тем в последние годы интенсивно развиваются исследования в области ИНС с импульсными НЭ, которые в большей степени соответствуют биологическому нейрону
[82,76,3].
Рассмотрим модель формального нейрона, построенную Маккаллохом и Питтсом (рисунок 8.6). В этой модели входные сигналы х1, х2, … , хm, j = 1, 2, … , m умножаются на соответствующие веса синаптических
Распознавание образов и обучение |
431 |
|
|
связей wi1, wi2, … , wim и суммируются, формируя значение ui. Выходной сигнал i-го НЭ определяется с помощью выражения
|
m |
|
yi (t 1) |
g( wij xj (t) i ), |
(8.29) |
|
j 1 |
|
где g(.) – функция преобразования нейрона; i – пороговое значение; m – количество входов НЭ.
Рисунок 8.6 – Формальный нейронный элемент
Для модели НЭ Маккаллоха – Питтса функция преобразования g(ui) представляет единичную ступенчатую функцию, которая называется также функцией Хевисайда и обозначается H(ui):
1, |
ui |
0 |
(8.30) |
g(ui ) H(ui ) |
ui |
0. |
0, |
|
Таким образом, выходной сигнал НЭ yi 1, если
m
wij x j i .
j1
Вином случае выходной сигнал НЭ равен 0. Заметим, что выходной сигнал НЭ может меняться только в дискретные моменты времени t, t+1, t+2 и т.д. Выражение
|
m |
m |
|
|
ui neti |
wij xj i |
wij xj |
(8.31) |
|
j 1 |
j |
0 |
|
определяет способ объединения входных признаков xj . Оно может быть представлено функцией neti f (wi,x), называемой сетевой или базовой функцией НЭ. Формальные модели нейронов отличаются между собой видом сетевой функции neti и видом функции преобразования g(.).
Сетевая функция вида (8.31) является линейной. Кроме линейной сетевой функции, в ИНС широко используются квадратическая
|
|
|
m |
|
|
|
neti wijx2j |
(8.32) |
|
|
|
j 0 |
|
|
и радиальная (сферическая) функции |
|
|
|
1 |
m |
|
|
|
neti |
j 0 |
(xj wij )2, |
(8.33) |
|
R2 |
где R – радиус гиперсферы.
В качестве функции преобразования в ИНС применяются следующие основные функции (рисунок 8.7):
-ступенчатая функция (8.30) (рисунок 8.7,а);
-линейная функция с насыщением (рисунок 8.7,б)
1, |
u 1, |
|
0 u 1, |
g(u) u, |
|
u 0; |
0, |
- знаковая функция (рисунок 8.7,в) |
|
g(u) sgn(u) |
1, |
u 0, |
|
u 0; |
|
1, |
- униполярная сигмовидная функция (рисунок 8.7,г)
1
g (u) 1 e 2 u ,
где – постоянный коэффициент;
Распознавание образов и обучение |
433 |
|
|
-биполярная сигмовидная функция (рисунок 8.7,д), представляющая собой гиперболический тангенс
g(u) |
2 |
1 |
e u e u |
tanh( u) ; |
1 e |
2 u |
e |
u |
e |
u |
|
|
|
|
|
|
- гауссова функция (рисунок 8.7,е)
2 2
g(u) ce u / ,
где ,с – постоянные коэффициенты.
Рисунок 8.7 – Функции преобразования НЭ
ВИНС наиболее часто используется два типа НЭ:
-НЭ с линейной сетевой функцией вида (8.31) и функцией преобразования вида (8.30) или (8.35). Такие НЭ называются линейными пороговыми элементами (ЛПЭ). Сигналы, распространяющие в сетях, составленных из ЛПЭ, являются бинарными и принимают значения
0 или 1, либо +1 и –1.
-НЭ с линейной сетевой функцией (8.31) и функцией преобразования вида (8.36) или (8.37). Такие НЭ называются линейно-непрерывными элементами (ЛНЭ). Сигналы, распространяющие в сетях из ЛНЭ, принимают произвольные значения из диапазона [0,1] или [-1,1].
На рисунке 8.8 условно изображены два ЛПЭ с входами х1 и х2, принимающими значения 0 и 1. Пороговое значение, при котором на выходе ЛПЭ формируется единичный сигнал, вписано внутрь круга. ЛПЭ, изображенный на рисунке 8.8,а, выполняет логическую операцию “И”, а ЛПЭ, изображенный на рисунке 8.8,б, – логическую операцию “ИЛИ”.
а) б)
Рисунок 8.8 – ЛПЭ, реализующие логические функции “И” а) и “ИЛИ” б)
8.5.2. Структуры нейронных сетей
ИНС состоит из большого числа взаимосвязанных НЭ. Структура нейронной сети отображается направленным графом, в котором вершины – это НЭ, а дуги представляют связи между НЭ. Дуга, направленная от НЭ с номером j к НЭ элементу с номером i, характеризуется весом wij.
Выделяют следующие основные разновидности структур ИНС: однослойные ИНС с прямыми связями; многослойные ИНС с прямыми связями; однослойные рекуррентные ИНС (ИНС с обратными связями); многослойные рекуррентные ИНС. Структуры указанных ИНС изображены на рисунке 8.9.
Реакция i–го НЭ в однослойной сети с прямыми связями определяется выражением (8.29). Связи входов сети с соответствующими НЭ могут быть заданы матрицей весов связей W
w11 |
w12 ... |
|
|
W w21 |
w22 ... |
... |
|
|
wn2 ... |
wn1 |
w |
|
w |
|
|
1m |
|
1 |
|
|
w2m |
w2 |
|
(8.39) |
|
|
... |
|
|
|
|
|
|
, |
wnm |
wn |
|
где w1, w2, …, wn - векторы весов НЭ с номерами 1, 2, … , n. Если между некоторым входом и НЭ нет связи, то соответствующий вес равен нулю.
Распознавание образов и обучение |
435 |
|
|
Рисунок 8.9 – Структуры ИНС: а) однослойные; б) многослойные с прямыми связями: в) однослойные рекуррентные; г) многослойные рекуррентные
В многослойной сети с прямыми связями выходы одного слоя НЭ выступают в роли входов другого слоя НЭ. Внутренние слои многослойной ИНС называют скрытыми слоями. Реакция i–го выходного НЭ многослойной ИНС вычисляется последовательным применением выражения (8.29). Например, если сеть является двухслойной, то
yi g(neti(2)) g( wij(2)x(j1)) g( wij(2)g(neti(1))) g( wij(2)g( wij(1)xj)), (8.40) j j j j
где x(j1) – реакция j-го нейрона скрытого слоя (в рассматриваемом случае первого слоя); wij(1) , wij(2) – веса связей нейронов первого и второго слоев,
соответственно; neti(1) , neti(2) – сетевые функции нейронов первого и второго слоев.
Поведение рекуррентных ИНС сложнее из-за наличия обратных связей. Обратные связи, действующие в пределах одного слоя НЭ, называют латеральными ( от английского lateral – горизонтальный). Часто используют ИНС с латеральным торможением. В этом случае латеральные связи, направленные к близко расположенным НЭ, являются возбуждающими, а связи, направленные к НЭ, находящимся на некотором удалении, являются тормозящими.
ИНС с латеральным торможением изображена на рисунке 8.10. Обратные связи здесь показаны только для одного НЭ. Латеральные связи, оканчивающиеся зачерненным кружочком, являются тормозящими.
Рисунок 8.10 – ИНС с латеральным торможением
В многослойных рекуррентных ИНС обратные связи могут охватывать несколько слоев (рисунок 8.9,г). При этом внутренние слои могут иметь как прямые связи, так и обратные. В этом случае ИНС будет иметь комбинированную структуру.
Распознавание образов и обучение |
437 |
|
|
8.5.3. Виды обучения ИНС
Обучение ИНС сводится к целенаправленному изменению весов связей W. Различают три вида обучения ИНС (рисунок 8.11):обучение с учителем; обучение с подкреплением; обучение без учителя [76].
Рисунок 8.11 – Виды обучения: а) с учителем; б) с подкреплением; в) без учителя
При обучении с учителем предполагается, что для каждого –го входного вектора x( ), представляющего входной сигнал, мы заранее зна-
ем желаемый выходной вектор ИНС t ( )и используем разность между желаемым t ( ) и действительным выходным вектором ИНС y( )(т.е. ошибку ИНС) для изменения в нужном направлении матрицы W (рисунок 8.11). Матрица весов W изменяется так, чтобы действительный выходной вектор ИНС y( )приближался к желаемому вектору t ( ). В этом случае предполагают, что имеется множество примеров Х, элементами которого являются пары ( x( ),t ( )):
Х = {( x( ),t ( )); |
1 p }. |
(8.41) |
Множество примеров Х разбивается на две части, одна из которых называется обучающей последовательностью, а другая – тестовой.
Цель обучения состоит в том, чтобы ИНС после обучения формировала корректные ответы на тестовой последовательности входных векторов x( ), которые не входили в обучающую последовательность.
При обучении с подкреплением объем доступной информации о желаемых реакциях ИНС ограничен. Часто может быть известна лишь степень соответствия действительной реакции желаемой. Например, 70%. В предельных случаях действительная реакция может оцениваться двумя значениями – “верно” и “неверно”. Управление весами связей W в этом случае осуществляется на основе внешнего сигнала, который называют подкреплением. Этот сигнал носит качественный характер. Поэтому с помощью генератора управляющего сигнала формируется более информативный сигнал.
При обучении без учителя заранее не известна желаемая реакция ИНС на заданный входной вектор x( ) и, следовательно, невозможно использовать ошибку ИНС для изменения весов связей W. В этом случае ИНС должна самообучаться, обнаруживая закономерности, присущие пространству входных сигналов. Отметим, что термин обучения без учителя (unsupervised learning) не очень удачен, так как обучение без учителя в полной мере невозможно.
Роль учителя сводится не только к указанию принадлежности тех или иных входных векторов ИНС определенным классам, но и к заданию цели обучения [50]. Кроме этого, многие вопросы обучения решает на этапе создания ИНС ее разработчик – учитель. Например, он осуществляет выбор признаков классификации ситуаций, что устраняет произвольность классификации. Поэтому часто ИНС, обучаемые без учителя, называют самоорганизующимися сетями, подчеркивая тот факт, что в данных сетях процесс обучения отличается от процесса обучения с учителем отсутствием внешней корректировки. Дополнительной информации о правильности реакции ИНС в этом случае не имеется. Вместе с тем термин “обучение без учителя” получил широкое использование в исследованиях по нейронным сетям. Будем использовать его с учетом сделанной оговорки.
8.5.4.Обучение с учителем в ИНС с прямыми связями
8.5.4.1.Простой персептрон. Рассмотрим НЭ, описываемый выражением (8.29). В этом случае индекс i может быть опущен. Такой НЭ называют простым персептроном (от латинского perceptio – восприятие, познавание). При подаче на вход персептрона –го образа его реакция опре-
делится с помощью выражения
m |
|
y( ) H ( wj xj ( ) ) , |
(8.42) |
j 1 |
|
где Н(.) – единичная ступенчатая функция Хевисайда.
Распознавание образов и обучение |
439 |
|
|
В качестве функции преобразования персептрона может использоваться также знаковая функция sgn(.). В этом случае входные и выходные сигналы персептрона будут биполярными.
Задача обучения персептрона заключается в поиске такого вектора весов w (w1,w2,...,wm), который обеспечит совпадения желаемой t( ) и
действительной реакции персептрона |
у( ) на заданный входной вектор |
|
m |
|
|
x( ). Если |
net wjxj 0, |
то выходной сигнал НЭ будет равен +1. |
|
j 1 |
|
|
Это означает, что входной вектор |
x( ) |
принадлежит классу, на который |
настроен НЭ. В ином случае входной вектор не принадлежит классу. При этом сетевая функция НЭ net f (w,x) играет роль дискриминантной
функции, позволяющей установить принадлежность вектора |
x классу. |
Поверхность, разделяющая векторы входного пространства на две |
группы, определится из выражения |
|
|
|
m |
|
|
|
w j x j |
|
0 . |
(8.43) |
j 1 |
|
|
|
Выражение (8.43) является линейным и представляет собой уравнение гиперплоскости. Таким образом, простой персептрон может классифицировать только такие образы входного пространства, которые разделимы с помощью гиперплоскости. Иными словами, задачи классификации, решаемые простым персептроном, – это линейные сепарабельные задачи. На рисунке 8.12,а изображена линейная сепарабельная задача классификации в двумерном пространстве. Здесь точки, обозначенные крестиками, отделяются от точек, обозначенных кружочками, прямой линией. Отметим, что пороговое значение в (8.43) характеризует расстояние от разделяющей гиперплоскости до начала координат. Если =0, то гиперплоскость будет проходить через начало координат.
На рисунке (8.12,б) изображена задача исключающего ИЛИ, которая не является линейно-сепарабельной и, следовательно, не может быть решена простым персептроном.
В то же время задача логического И (ИЛИ) является линейносепарабельной и успешно решается с помощью простого персептрона.
Идея обучения персептрона состоит в следующем. На вход персептрона подаются последовательно входные векторы x( ). Одновременно с этим выходная реакция персептрона у( ) сравнивается с желаемой реакцией t( ). Если указанные реакции совпадают, то никаких действий не предпринимают. Если у( ) ≠ t( ), то вектор весов персептрона w изменяется на величину w. Адаптация весов выполняется с помощью правила
