3865

1

Начало

2

Ввод исходных данных

3

Задание числа входов

4

Задание обучающей выборки

5

Нормализация обучающей выборки

6

Задание числа скрытых слоев

персептрона

7

Задание числа нейронов в скрытом

слое

Да

10

Задание числа разрывов связей ней-

ронов в скрытых слоях

11

Вывод результатов

12

Конец

Рис. 3.7. Блок-схема алгоритма формирования многослойного персептрона

111

Блоки 1, 12 обеспечивают пуск и остановку алгоритма формирования многослойного персептрона.

В блоке 2 реализован ввод исходных данных, таких как:

-начальные значения весовых коэффициентов межнейронных связей;

-вид функции активации. При проведении исследований использовались такие функции активации, как: линейная; пороговая; сигмоидальная; логистическая; гиперболический тангенс; радиально-базисная. Специальный компонент, реализующий сигмоидальную функцию активации в средеDelphi, приведен на рис. 3.8.

Рис. 3.8. Компонент Delphi, реализующий сигмоидальную функцию активации

В блоке 3 задается число входов во входном слое.

Блок 4 предназначен для задания значений обучающей выборки. Блок 5 используется для нормализации обучающей выборки.

Вблоке 6 задается число скрытых слоев персептрона.

Вблоке 7 задается число нейронов в скрытом слое.

Блок 8 обеспечивает проверку условия удовлетворенности пользователем заданного числа слоев.

Блок 9 обеспечивает проверку условия удовлетворенности пользователем заданного числа нейронов.

В блоке 10 в интересах исследования нового класса ИНС задается число разрывов связей нейронов в скрытых слоях. Детализация данного вида исследований приведена в описании подсистемы управления.

Блок 11 реализует вывод результатов. В качестве результата выступает сформированный многослойный персептрон.

Ниже приведен фрагмент программного кода для данного алгоритма. nset := TNSet.Create; // создаем нейросеть

// вводим число слоев

//LayerCount:=se3.Value;

LayerCount:=se3.Value+2; //вводим число нейронов в слоях

Layers[0]:=StrToInt(FrmPers.strngrd1.Cells[1,1]);// число нейронов во входном слое

for i:=1 to se3.Value do Layers[i]:=StrToInt(FrmPers.strngrd1.Cells[1,i+1]);

112

// число нейронов в выходном слое

Layers[se3.Value+1]:=StrToInt(FrmPers.strngrd1.Cells[1,se3.Value+2]); // Layers[2]:=0;

//выводим на просмотр for i:=1 to se3.Value do

begin FrmPers.strngrd2.Cells[1,0]:='Кол.нейронов'; FrmPers.strngrd2.Cells[0,1]:='Входной слой'; FrmPers.strngrd2.Cells[1,1]:=IntToStr(Layers[0]);

FrmPers.strngrd2.Cells[0,i+1]:='Скрытый '+IntToStr(i); FrmPers.strngrd2.Cells[1,i+1]:=IntToStr(Layers[i]); FrmPers.strngrd2.Cells[0,i+2]:='Выходной слой'; FrmPers.strngrd2.Cells[1,i+2]:=IntToStr(Layers[i+1]);

end;

Экранная форма исследования персептронов приведена на рис. 3.9.

Рис. 3.9. Экранная форма формирования и исследования персептронов

3.3. Обучение ИНС

Для обучения ИНС используется алгоритм обратного распространения ошибок. Впервые данный метод обучения был предложен Руммельхартом и Хинтоном в 1986 г. На рис. 3.10 показаны потоки функциональных сигналов и сигналов ошибок в многослойном персептроне.

Сигнал ошибки берет свое начало на выходе сети и распространяется в обратном направлении (от слоя к слою). Он получил свое название благодаря тому, что вычисляется каждым нейроном сети на основе функции ошибки, представленной в той или иной форме.

113

Функциональные сигналы

Сигналы ошибки

Рис. 3.10. Потоки функциональных сигналов и сигналов ошибок в многослойном персептроне

Установлено, что ошибки, делаемые нейронами выходного слоя, возникают вследствие неизвестных пока ошибок нейронов скрытых слоев. Чем больше значение синаптической связи между нейроном скрытого слоя и - вы ходным нейроном, тем сильнее ошибка первого влияет на ошибку второго. Следовательно, оценку ошибки элементов скрытых слоев можно получить как взвешенную сумму ошибок последующих слоев.

С целью упрощения пояснения механизма обучения ИНС на основе алгоритма обратного распространения ошибки ограничимся рассмотрением персептрона с одним скрытым слоем. Матрицу весовых коэффициентов от входов к скрытому слою обозначим W, а матрицу весов, соединяющих скрытый и выходной слой, как V. Для индексов примем следующие обозначения: входы будем нумеровать только индексом i, элементы скрытого слоя - индексом j, а выходы соответственно индексом k.

Пусть сеть обучается на выборке (X a ,Y a ), a =1..p. Активности нейронов будем обозначать малыми буквами y с соответствующим индексом, а суммарные взвешенные входы нейронов - малыми буквами x.

Пошаговое описание алгоритма обратного распространения ошибок представлено в табл. 3.2.

Как видно из описания шагов2-3, обучение сводится к решению задачи оптимизации функционала ошибки градиентным методом.

Параметр h характеризует темп обучения ИНС. При его выборе необходим компромисс. С одной стороны, его увеличение приводит к более быстрому обучению ИНС, а с другой - к возрастанию ее неустойчивости(сходимости). Теоретически он выбирается достаточно малым для сходимости метода. Результаты экспериментов показали, что сходимость данного метода невысокая.

Это обусловлено несовпадением локального направления градиента с направлением к минимуму и независимостью подстройки весов для каждой пары образов обучающей выборки. Последнее означает, что улучшение функционирования на некоторой заданной паре может приводить к ухудшению работы на предыдущих образах.

Для повышения темпа обучения ИНС с учетом сохранения ее устойчивости использовалась следующая методика.

114

Вычисления производных выполняются по тем же формулам, за исключением некоторого усложнения формулы для ошибки a j.

При вычислении dj частные производные берутся только по переменным последующего слоя. По полученным формулам модифицируются веса нейронов скрытого слоя. Если в нейронной сети имеется несколько скрытых слоев, процедура обратного распространения применяется последовательно для каждого из них, начиная со слоя, предшествующего выходному, и далее до слоя, следующего за входным. При этом формулы сохраняют свой вид с заменой элементов выходного слоя на элементы соответствующего скрытого слоя.

Шаг 4. Повторение шагов 1-3 для всех обучающих векторов. Обучение завершается по достижении малой полной ошибки или максимально допустимого числа итераций, как и в методе обучения Розенблатта.

Рассмотрим детализацию шага 3 вышеизложенного алгоритма. Обратный проход начинается с выходного слоя предъявлением ему сигнала ошибки, который передается справа налево от слоя к слою с параллельным вычислением локального градиента для каждого нейрона. Этот рекурсивный процесс предполагает изменение синаптических весов в соответствии с дельта-правилом (3.31):

где d j (n) - локальный градиент; yi (n) - входной сигнал нейрона.

Для нейрона, расположенного в выходном слое, локальный градиент равен соответствующему сигналу ошибки, умноженному на первую производную нелинейной функции активации. Затем соотношение (3.31) используется для вычисления изменений весов, связанных с выходным слоем нейронов. Зная локальные градиенты для всех нейронов выходного слоя, с помощью (3.32) можно вычислить локальные градиенты всех нейронов предыдущего слоя, а значит, и величину коррекции весов связей с этим слоем:

116

1. Текущее значение коррекции весов Dwji (n) представляет собой сумму

экспоненциально взвешенного временного ряда. Для того чтобы этот ряд сходился, постоянная момента должна находиться в диапазоне 0< a <1. Если константа a равна нулю, алгоритм обратного распространения работает без момента. Следует также заметить, что константа a может быть и отрицательной, хотя эти значения не рекомендуется использовать на практике.

2. Если частная производная имеет один и тот же алгебраический

знак на нескольких последовательных итерациях, то экспоненциально взвешенная сумма Dw ji (n) возрастает по абсолютному значению, поэтому веса w ji (n)

могут изменяться на очень большую величину. Включение момента в алгоритм обратного распространения ведет к ускорению спуска в некотором постоянном направлении.

3. Если частная производная на нескольких последовательных ите-

рациях меняет знак, экспоненциально взвешенная сумма Dwji (n) уменьшается по абсолютной величине, поэтому веса w ji (n) изменяются на небольшую вели-

чину. Таким образом, добавление момента в алгоритм обратного распространения ведет к стабилизирующему эффекту для направлений, изменяющих знак.

Включение момента в алгоритм обратного распространения ошибок обеспечивает незначительную модификацию метода корректировки весов, оказывая положительное влияние на работу алгоритма обучения. Кроме того, слагаемое момента может предотвратить нежелательную остановку алгоритма в точке какого-либо локального минимума на поверхности ошибок.

Результаты экспериментов показали, что параметр h целесообразно задавать для каждой конкретной связи h ji . Это значит, что, применяя различные па-

раметры скорости обучения в разных областях сети, можно оптимизировать процедуру обучения. Кроме того, при реализации алгоритма обратного распространения ошибки можно изменять как все синаптические веса ,сетитак и только часть из них, оставляя остальные на время адаптации фиксированными.

В последнем случае сигнал ошибки распространяется по сети в обычномпо рядке, однако фиксированные синаптические веса будут оставаться неизменными. Этого можно добиться, установив для соответствующих синаптических весов wji (n) параметр интенсивности обучения h ji равным нулю.

Для эффективного обучения ИНС использовался ряд эмпирических приемов, в частности: выбор размера обучающего множества; применение перекрестной проверки; использование раннего останова, применение последовательного и пакетного режимов обучения, обоснование критерия останова обучения.

118

При выборе размера обучающего множества учитывалось важное эмпирическое правило: размер обучающего множества N должен удовлетворять соотношению

порогов) сети; e - допустимая точность ошибки классификации; О(-) - порядок заключенной в скобки величины. Например, для ошибки в10 % количество примеров обучения должно в 10 раз превосходить количество свободных параметров сети. Выражение (3.36) получено из эмпирического правила Видроу для алгоритма LMS. Данное правило устанавливает, что время стабилизации процесса линейной адаптивной временной фильтрации примерно равно объему памяти линейного адаптивного фильтра в задаче фильтра на линии задержки с отводами, деленному на величину рассогласования [234]. Рассогласование в алгоритме LMS выступает в роли ошибки e из выражения (3.36).

Суть использования перекрестной проверки состояла в следующем. Обучение методом обратного распространения заключается в кодировании отображения входа на выход(представленного множеством маркированных примеров) в синаптических весах и пороговых значениях многослойного персептрона. Предполагается, что на примерах из прошлого сеть будет обучена настолько хорошо, что сможет обобщить их на будущее. С такой точки зрения процесс обучения обеспечивает настройку параметров сети для заданного множества данных. Более того, проблему настройки сети можно рассматривать как задачу выбора наилучшей модели из множества структур-"кандидатов" с учетом определенного критерия. Решить такую задачу возможно на основе стандартного статистического подхода, получившего название перекрестной проверки [234].

В рамках этого подхода имеющиеся в наличии данные сначала случайным образом разбиваются на обучающее множество и тестовое множество. Обучающее множество, в свою очередь, разбивается на подмножество для оценивания (используется для выбора модели) и проверочное подмножество (используется для тестирования модели). Целесообразность применения проверочного множества, отличного от оценочного, обусловлена необходимостью исключения переобученности ИНС.

Применение метода обучения с ранним остановом тесно связано с перекрестной проверкой. Обычно обучение многослойного персептрона методом обратного распространения происходит поэтапно, переходя от более простых к более сложным функциям отображения. Это объясняется тем фактом, что при нормальных условиях среднеквадратическая ошибка уменьшается по мере увеличения количества эпох обучения: она начинается с довольно больших значений, стремительно уменьшается, а затем продолжает убывать все медленнее по мере продвижения сети к локальному минимуму на поверхности ошибок. Если главной целью является хорошая способность к обобщению, то по виду кривой довольно сложно определить момент, когда следует остановить процесс обуче-

119

ния. Если вовремя не остановить сеанс обучения, то существенно повышается вероятность излишнего переобучения. Наступление стадии излишнего переобучения определялось с помощью перекрестной проверки, в которой данные разбиты на два подмножества — оценивания и проверки. Множество оценивания использовалось для обычного обучения сети с небольшой модификацией: сеанс обучения периодически останавливался(через каждые несколько эпох), после чего сеть тестировалась на проверочном подмножестве. Более точно, периодический процесс оценивания-тестирования выполнялся следующим образом. После завершения этапа оценивания(обучения) синаптические веса и уровни порогов многослойного персептрона фиксировались и сеть переключалась в режим прямого прохода. Ошибка сети вычислялась для каждого примера из проверочного подмножества. После завершения тестирования наступал следующий этап процесса обучения, и все повторялось. Использовалась так называемая процедура обучения с ранним остановом. На рис. 3.12 показаны зависимости среднеквадратических ошибок от числа эпох для тестирования и обучения.

Кривая для подмножества тестирования

Среднеквадратическая ошибка

Количество эпох

Рис. 3.12. Процесс обучения с ранним остановом на основе перекрестной оценки

Первая кривая относится к измерениям на подмножестве для оценивания, а вторая - к измерениям на проверочном подмножестве. Анализ данных функций показывает их различное поведение. Функция обучения на подмножестве оценивания монотонно убывает с увеличением количества эпох, в то время как кривая обучения на проверочном подмножестве монотонно убывает до некоторого минимума, после чего при продолжении обучения начинает возрастать. Если учитывать только кривую, построенную на подмножестве оценивания, то возникает соблазн продолжать обучение и после прохождения точки минимума

120