книги / Нейронные сети для обработки информации

10.3.5. Обобщенный алгоритм обучения рекуррентной сети

На практике метод Херольта-Джутгена оказывается эффективным при небольшом разбросе амплитуд отдельных сигналов тД/), обычно меньше»!, чем 1:100.

При сильных отличиях сигналов значительно более эффективным считается модифицированный алгоритм Л.Чихотекого [12], в котором вводятся собст­ венные обратные связи нсГфонов с весами и ^ О . Эти обратные связи вызывают самонормапизвцию выходных сигналов, что привод1гт их к одина­ ковому численному уровню и облегчает тем самым процесс сепарации.

В соответствии с модификацией Чихотекого [12] адаптивные механизмы уточнения весов (при условии, что уХО не содержат постоянных составляющих) описываются формулами

для / = 1, 2......п. Обе формулы можно представить в обобщенной матричной форме

в которой используются те же обозначения, что и в формуле (10.42). Вектор у (г) рассчитывается в каждый момент врсметш согласно (10.38), у (Г) = (I + ЛУ>_,дг(0* для текущих значений матрицы весов \У и вектора смешанных сигналов дг(/).

Главный источник повышенной эффективности алгоритма - евмонормалмзация до единичных значении выходных сигналов у,</). Поскольку в

независимо от уровня сигналов з,<Г) происходит мвештабированне всех сигналов в сети до единичного уровня. Имитационные исследования сети с моди­ фицированным алгоритмом продемонстрировали возможность разделения сигналов с амплитудами, различающимися даже в отношении 1: Ю10. Сеть с модифицированным правилом обучения также менее чувствительна к коэффициенту обусловленности смешивающей матрицы А.

На рис. 10.7 представлен процесс сепарации четырех сигналов а /') с0 значительно отличающимися амплитудами:

Д| - 0,001 ып(300/ + бсозбО/);

32“ галс!(0,00001, / + бсозбОг);

5) = 0,001 5вп(со$15$/);

54 = 0,00001 51п(1200/) 5Ш (50/); смешанными посредством матрицы А.

-0,001

.1[а>и»»»»»и»»имй

•[йуугААлдЛШШЛлпллп1иш11ш™ш

Рис. 10.7. Графическая иллюстрация процесса разделения сигналов сетью

Херальта-Джуттеиа:

а ) исходные сигналы; б ) сигналы, смешанные посредством патрицы А;

в) выходные сигналы нейронной сети в процессе их разделения

На рис. 10.7л изображены исходные сигналы л//), на рис. 10.76 - смешанные сигналы лг,{7), а на рис. 10.7* - сигналы, выделенные нейронной сетью в процессе сепарации (эго независимые сигналы, являющиеся реакцией' на исходные сигналы). В качестве входных используются смешанные сигналы (три средних графика на рис. 10.7). Из-за огромного различия в амплитудах исходных сигналов на графиках подаваемых на ввод сети смешанных сигналов видны только наибольшие сигналы шума, тогда как енгнплы с малой ампли­ тудой практически незаметны. Процесс сепарации осуществлялся с по­ мощью программы В5 [13] с применением нелинейных функций Дт) = дг3, #(х) = 1апЬ( 10х), а также коэффициента обучения г)(0, адаптивно умень­ шающегося от начального значения, равного 2000. Это ноэоолило разделить все сигналы независимо от их амплитуд (три нижних графика на рис. 10.7). Выделенные сетью сигналы характеризовались одинаковым уровнем амплитуды, достигнутым благодаря собственным обратным связям ней­ ронов.

10.3.6, Однонаправленная сеть для разделения сигналов

их преобразования линейной системой синаптических весов к'у формируется вектору

Матрица \У € этом выражении является полной. При таком решении однонаправленная есть равнозначна сети с обратными связями, если матрица весов \У удовлетворяет условию

Алгоритм обучения весов \У можно получ>гть непосредственно из обучающих зависимостей для рекуррентных сетей, если принять во внимание, что

чешш, сформулированных для рекуррентных сетей, то можно получить его аналог для однонаправленной сети. Например, принимая во внимание модифицированное правило Чихотского [17], строится адаптивная зависи­ мость, представляемая в матричной форме

57 - ч (0 'У [1 -/0 Ч /))1 * О (0 )1 гт (Ю .И )

с начальным условием ЧУ(0) - 1, имеющая свойства, идентичные свойствам алгоритма обучения рекуррентной сети, на базе которого ока была создала. В отлпчис от формулы обучения рекуррентной сети в вы­ ражении (10.51) изменения весов обусловлены их фактическими значе­ ниями. К настоящему времени известно большое количество вари­ антов обучающей формулы (10.51), характеризующихся особенно выда­ ющимися качествами при плохой обусловленности матрицы А либо при большой рознице амплитуд исходных сигналов 5,(1). Среди них можно выделить [12]:

• алгоритм Чихотского-Амври-Янга

»де оги 0 - э т о численные коэффициенты из интервала [0,1].

Особенно хорошими качествами характеризуется алгоритм, основанный на естествениом градиенте, при реализации которого, как показано в работе [1В], процесс сепарации практически не зависит от соотношения амплитуд сигналов з,(0 и от степени обусловленности смешивающей матрицы А.

Так же как и в рекуррентных сетях, коэффициент обучения т)(0 представляется функцией, значение которой уменьшается стечением времени до нуля. Обычно это показательная функция вида г)(0 ^Ас -*/к со значением амплитуды А и постоянной времени, индивидуально подбираемой в каждом конкретном случае.

Экспериментальные исследования однонвпранлешюй сети показали высокую эффективность разделения исходных сигналов с большими относительными различиями (доходящими до 1010) амплитуд к плохой обусловленностью смешивающей матрицы А. На рис. 10.9 представлены результаты сепарации семи сигналов со значительно отличающимися уровнями ампшпуд:

51 = 0,00001 5ёл(со8157/);

32 - 0,001 8т(310*+со$57/);

51 = 0,01 $!п(90х); 54 = №1(1(0,0001, /);

з$ = та1к№ (10, 0,000001, /); 36 = 0,0000000001 со$(155/); 31 = 0,00001 51П(800г)*8т(60/).

а)графики изменения сигналов; 6) график изменения эвклидово!! нормы погрешности

Веса подбирались путем решения методом Рунге-Купа системы дифференциальных уравнений, соответствующих алгоритму (10.53). Как видно

на рис. 10.9, разделение сигналов лротошло менее чем за двадцать ите­ раций. Процесс сепарации сигналов протекал равномерно и практически не зависел от уровня амплитуды исходных сигналов. Вес выделенные сетью сигналы были нормализованы и имели амплитуду, близкую к единице. Вызывает интерес динамика изменения адаптировавшихся весов сети с учетом значительных различий амплитуд исходных сигналов. На рис. 10.10 для примера

Рис. 10.10. Процесс адаптации некоторых весов нейронной сети

продемонстрирован процесс адаптации восьми весов одного из нейронов описанной выше сети, разделяющей семь сигналов. Веса нейронов, соответствующих самым слабым сигналам, принимают большие значения. Благодаря этому выравнивается влияние каждого исходного сигнала на окончательную форму выделенных сиглалову(<0-

Раздел 11

МАТЕМАТИЧЕСКИЕ ОСНОВЫ НЕЧЕТКИХ СИСТЕМ

Понятие нечетких множеств (англ.: /иггу хек) как обобщение обычных (четких) множеств было введено Л. Заде в 1965 г. [177, 178]. Традиционный способ представления элемента множества А состоит в применении харак­ теристической ф у н к ц и и к о т о р а я равна I, если этот элемент принадле­ жит к множеству А, или ровна 0 в противном случае. В нечетких системах элемент может частично принадлежать к любому множеству. Степень принадлежности к множеству А, представляющая собой обобщение харак­ теристической функции, называется функцией принадлежности /*л(х), причем р Д х )е [0 ,1]. Значения функции принадлежности являются рациональными числами из интервала [0,1], где 0 означает отсутствие принадлежности к множеству, я 1- полную принадлежность. Конкретное значение функции принад­ лежности называется степенью или коэффициентам принадлежности. Эта степень может быть определена явным образом в виде функциональной зависимости (например, рл(лг) = ехр (- (ррр)2) либо дискретно - пупы задания конечной последовательности значений х е {х„} в виде

Например, для последовательности дискретных значений переменной дг, равных *1 = 7, хг = 8, х3 = 9, х* = 10, а5 = 11, дг» = 12, х? = 13, их коэффици­ ент принадлежности к числам, близким 10, может быть определен в виде

В теории нечётких множеств, помимо переменных цифрового типа, сущест­ вуют лингвистические переменные с приписываемыми им значениями. Пусть переменная х обозначает температуру (я = "температура"). Можно определить исчсткпе множества "отрицательная", 'близкая к нулю', "положительная", характеризуемые функциями принадлежности ^ <»^и,(х), ] ( %,(.г), Цмюх(0- Так же как обычная переменная может принимать различные значения, лингвистическая переменная "температура" может принимать различи

лингвистические значения. О нашем примере это: "отрицательная1', "близкая к нулю" и "положительная". Следовательно, лингвистическое выражение может иметь вид: "температура отрицательная", "температура, близкая я нулю", "температура положительная".

На рис. 11.1 приведена графическая иллюстрация функции принадлежности переменной х = Т (где Т означает температуру) для трех названных множеств значений температуры. Непрерывными линиями обозначена классическая (точная) принадлежность, а пунктирными линиями - нечеткая принадлежность. Можно отметить, что функция нечеткой принадлежности Является непрерывным приближением пороговой функции точкой принадлежности.

Рис. 11.1. Иллюстрация понятия принадлежности температуры к области отрицательно», близкой к кулю либо положительно» (пунктирные линии - нечеткая система, сплошные линии - точная система.)

Каждое нечеткое множество имеет определенный носитель (англ.: зирроп). Носителем множества 8ирр(Л) является подмножество тех элементов А, для которых коэффициент принадлежности к А не равен пулю, т.с. Зирр{Л) - -(х, Нл (х) > 0}. В приведенном выше примере на рис. 11.1 носителем множества "близкая к нулю" является множество темпера^гр в интервале от -4°С до +4°С.

Два множества А{х) и В(х) равны между собой, когда На (*) " №в (х) Для каждого элемента обоих множеств. Кардинальное число нечеткого множества А равно сумме коэффициентов принадлежности всех элементов' к этому множеству, М{А) = ЛНа(*)- Эго обобщение аналогичного понятия, относя­ щегося к обычным множествам, для которых кардинальное число равно сумме элементов множества. Нечеткое множество является нормальным, если хотя бы один элемент этого множества имеет коэффициент принадлежности, равный 1. Сечение а нечеткого множества А образуется подмножеством Аа,

содержащим те элсмс1гты множества А, для которых рА(х) > а (слабое сечение) или цА (х) 2 а(сильное ссчснис), пркчслс « € [0,1).

11.1.Операции на нечетких множествах

На нечетких множествах, рассматриваемых как обобщение обычных множеств, можно определить ряд математических операций, являющихся обобщешгем аналогичных операций, выполняемых на "четких" множествах. К ним среди прочих относятся:

1. Логическая сумма множествА и В

где знак и обозначает оператор Мах.

ПРИМЕР 11.1 Пусть даны два нечетких множества А н В, определенные следующим образом:

в=| м м М м |

I х, ’ ’ х3 ’ х4 I'

Логическая сумма этих множеств С = Л и В равна:

с = ко м М

” ]х . ' Х2* Ху' Х4 У

2. Логическое произведение множеств А п В

где знак п обозначает оперотор М т. Для данных нз примера 11.1 множество С, являющееся логическим произведением множеств А к В, будет иметь вид

В отличие от обычных (четких) множеств, где отрицание элементов, принадлежащих к множеству, дает пустое множество, отрицание нечеткого множества определяет непустое множество, состоящее из элементов, функции принадлежности которых также определены на интервале [0,1].