книги / Нейронные сети для обработки информации

6.3.2. Алгоритм обучения сети Эльмана

Для обучения сети Эльмана будем использовать градиентный метод наискорейшего спуска, основанный на работах Р. Вильямса и Д. Зипсера [171]. Для этого метода необходимо задать формулы, позволяющие рассчитывать градиент целевой функции в текущий момент времени. Целевая функция в момент г определяется как сумма квадратов разностей между значениями выходных сигналов сети к нх ожидаемыми значениями для всех М выход* пых нейронов:

виде

Связи между схрытым и выходным слоем однонаправленные (см. рис. 8.9),

Простое сравнение с псрсегТтронноЙ сетью показывает, что веса выходного слоя сети Эльмана подвергаются точно такой же адаптации, кок и веса выходных нейронов лерсегттрона.

Формулы уточнсиия весов скрытого слоя сети Эльмана более сложны из-за наличия обратных связей между скрытрм д хантскстимм слоями. Ррсчет краиапонецтов вектора градиента целевой функции относительно весов скрытого слоя требует выполнения значительно большего количества математических операций-

После уггочлеш1Я значений весов вернуться к пуншу 2 алгоритма для расчетов в очередной момент /.

Для упрощения вычислений при выводе формул (8.33) и (8.34) была предложена онлайн-версия алгоритма обучения, согласно которой значения весов уточнялись после предъявления каждой обучающей пары (лг, </)- Обычный офф­ лайн-алгоритм несколько более эффективен» поскольку при его выполнении значения весов уточняются только после предъявления всех обучающих пар. Реализация такой версии алгоритма аналогична рассмотренной выше с той разницей, что в ней суммируются компоненты градиента последовательно предъявляемых обучающих пар, а процесс изменения весов выполняется в каждом цикле только один раз.

Представленный алгоритм считается нелокальным, поскольку уточнение каждого отдельного веса требует знания значений всех остальных весов сети и сигналов конкретных нейронов. Его требования к размерам памяти компьютера дополнительно повышаются в связи с необходимостью хранить вес значения <Ьу(*)

8.3.3. Обучение с учетом момента

Практические реализации алгоритма обучения сети Эльмана строятся на методе лвискорейшего спуска, усиленном моментом. Это значительно повышает эффективность обучения и вероятность достюкения глобального минимума целевой функции. При использовании такого подхода уточнение вектора весов сети в момент / выполняется в соответствии с формулой

где а(Д) - это коэффициент момента, выбираемый лз интервала (0, 1). Первое слагаемое этого выражения соответствует обычному методу обучения, тогда как второе, ушгтывающее фактор момента, отражает последнее изменение весов н нс зависит от фактического значения градиента. Чем больше величина а; тем большее влияние па подбор весов оказывает слагаемое момента. Его значение существенно возрастает на плоских участках целевой функции и около локального минимума, оде значение градиента близко к пулю.

В окрестности локального минимума не связанный с градиентом фактор момента может вызвать изменение весов, ведущее к росту значения целевой функции и к выходу |П зоны притяжения этого минимума с возобновлением поиска области, в которой целевая функция имеет меньшее значение. Фактор момента нс может доминировать при уточнении весов, поскольку в этой ситуации

процесс обучения и, следовательно, поиска минимума никогда бы не завершился. Обычно для управления процессом обучения вводится понятие допустимого прироста погрешности, например, 3%. В таком случае, если в к-И нтсрацнн значение целевой функции удовлетворяет зависимости С(А)<1,03Я(А- 1), то шаг принимается и значения весов уточняются, в противном случае фактор момента игнорируется, и принимается а(А) = 0. Выбор оптимального значения коэффициента момента - это непростая задача. Для ее решения требуется провести значительное количество численных экспериментов, цель которых состоит о адаптации значения этого коэффициента к решаемой проблеме. Обычно удовлстооритслы1ым считается суболтимолыюс значение, которое обеспечивает достижение (хотя, возможно, и не самое быстрое) хороших показателей обучения.

8.3.4. Пример компьютерного моделирования сети Эльмана

Сеть Эльмана имеет рекуррентную структуру с обратной связью между скры­ тым и входным слоями. С учетом непосредственного влияния сигналов в момент (л - 1) на сс поведение в момент л такая сеть естественным образом предраспо­ ложена к моделированию временных радов.

Впрактической реализации алгоритма обучения сети Эльмана (программа Е1тал) использовался способ адаптации весов типа “оффлайн” и применялся метод наискорсншсго спуска с учетом момента со значениями коэффициента момента в интервале огг 0 до 1 (значение но умолчанию равно 0,9$). Дня уско­ рения обучения использовался адаптивный коэффициент обучения Г), подстраи­ ваемый к фактическим изменениям значений целевой функции в процессе обучешш.

Внастоящем подразделе будут представлены результаты применения сети Эльмапв для распознавания амплитуд двух синусоидальных сигналов по каждой реализации сигнала, поданного на вход сети. Задача состояла в предсказании амплитуды сигнала на основе текущего значения входного сигнала и запом­ ненных значений из предыдущего временного цикла. В итоге сеть должна сформировать на своем выходе сигнал, соответствующий амплитуде входного сигнала.

Вчисленном эксперименте входной сигнал представлял собой последо­

вательность из ВО синусоидальных сигналов с двумя различными амплитудами, равными 1 н 2 соответственно, олнсываеме. зависимостью

Для решения задачи была построена сеть со структурой 11-10-1. Вход сети образован одним истинным входным узлом и 10 контекстными узлами, так как

скрытый слой состоит из 10 нейронов. Каждый нейрон скрытого слоя характеризуется сигмоидальной (биполярной) функцпейактващпг, а выходной нейрон - является ’линейным. На рис. 8.10 представлены сигналы: ожидаемый (сплошная линия) к фактически сгенерированный сетью •(пунктирная линия) после 1000 циклов обучения (верхний график), а также график погрешности рас* познавания амплитуды конкретных выборок. Анализ графиков свидетельствует,

Выборка

Рис. 8.10. Результата обучения сети Эльмана распознаванию амплитуды двух сигналов.

что эффективность отслеживания сетью входного сигнала может считаться удовлетворительной. Среднее значение модуля погрешности ?а время проведется эксперимента по результатам обучения составило 0,069, Для проверки м?р- рек1ност^[ функционирования сети в случаях генерации последовательностей с другимд амплитудами, с зашумленными сигналами, а также при потерях отдельных фрагментов данных и обработке сигналов с частотой, отличающейся 9Т дспользовацио!) для обучешш, была организована серия обобщающцхтестов натрешгрораннрй сеиг.

В качестве зашумленных сигналов использовалась последовательность данных, описываемых зависимостью х[ - х4 + л , где в - это шум нз интервал^ (-К ЛО, а д:* - сигнал, определенный выражением (8.?б). На рис. 8.11 приведены результаты тестирования сети доя 0,1 ,и N=0,5, Оказалось, что сеть неплохо “справляется” с сигналами, имеющими небольшую зашумленность, например, N = 0,1. Однако ее эффективность а распоэнавашш вышипуды сигнала, сильно искаженного шумом (например, N=0,5), значительно ниже, хотя и в этом случае наблюдается отслеживание изменений амплитуды входных сигналов.

Для проверки работы сети при другой амплитуде синусоидальных сигналов натренированная ранее сеть тестировалась на последовательности1сигналов,

217

Ркс. 8.11. Иллюстрация влияния шума на распознавание сетью Эльмана

амплнтуды двух сигналов

описываемых зависимостью

На рис. 8.12 представлены результаты функционирования сети в этом эксперт^с!кте. Поскольку обучение проводилось только на амплитудах со значения иГц 1 и 2»,сеть сохранила рпределенные способности к обобщению, позволив ине 'еП; отслеживать значения других сигналов, хотя и значительно большей погрешностью. Для проверки устойчивости натренированной сети к

шнскешОп1М частоты сигнала были проведены очередные тесты с данными, имеющими характеристики

при N 0,8 л N я 1,5. Результаты моделирования в виде соответствующих графиков, амплитуд: ожидаемой (сплошная линия) н распознанной сетью (пуик-

Рис. 8.12. Результат тестирования сети Эльмана иа данных с амплитудой, измененной по сравнению с обучающими сигналами

Рис. 8.13. Иллюстрация влияния изменения частоты на распознавание сетью Эльмана амшипуды двух сигналов

тириая линия) представлены на рис.8.1Э. Анализ этих трафиков позволяет сде­ лать вывод, что сеть корректно распознает вмпшпуды сигналов с частотой, отли­ чающейся от частоты обучающих данных даже при изменении частоты на 20%. Неудовлетворительные результаты распознавайнл наблюдаются при зночи-

тельных отклонениях частоты от ожидаемой величины (результаты при 50%-ном отклонении чистоты приведены на нижнем трафике рис. 8.13). Во всех описываемых экспериментах структура данных была симметричной: 20 выборок имели одну амплитуду, а 20 - другую, причем их последовательности повто­ рялись. Такое чередование тестовых сигналов наследовало структуру данных, использованную на стадии обучения сети. Для проверки способности септ к обобщению были также проведены тесты с данными другой длины и с иной пропорцией распределения выборок. В первом тесте были удалены 10 первых выборок с амплитудой 1, а во втором - еще дополнительно 16 первых выборок с амплитудой 2. Результаты этих тсстоп представлены на рис. 8.14. Можно

Выбор* 0

Рис. 8.14. Результаты тестирования сети Эльмана на данных с несимметричной структурой

отмстить, '(то удаление части сигналов нс оказало существенного воздействия на качество отклика. Система функционировала корректно, демонстрируя удов­ летворительное качество распознавшим амплитуды. I

8.4. СетьКТТО*

8.4.1. Структура сети и алгоритм обучения

Среди рекуррентных сетей особого внимания заслуживает сеть типа КТЮ4 (вит.: Неа! Типе Ясснгге/НА?е(пшк), предложенная Р. Вильямсом и Д. Зштсером в работе (171] и предназначенная для обработки сигналов в реальном времени. Обобщенная структура сети представлена на рнс. 8.15Сеть содержит №входных