книги из ГПНТБ / Галушкин, А. И. Синтез многослойных систем распознавания образов

ж) Двухслойная СР с обратными связями (рис. 4-17, в)\

xk (п) -■ F [g («)]; g (п) = 2 ару (п) + akxk («— 1); /=о

В принципе возможно рассмотрение многослойных СР произвольной заданной структуры с обратными и пере­ крестными связями. Объективная необходимость введения перекрестных связей в многослойных СР отмечается и обо­ сновывается в следующем параграфе, а обратных связей— в гл. 8 при исследовании замкнутых СР нестационарных образов.

4-6. Оптимизация структуры многослойных СР с перекрестными связями

Вопрос выбора структуры разомкнутой многослойной СР является сложным. Структура разомкнутой СР может задаваться либо априори, либо исходя из соображений, высказанных выше при рассмотрении двухслойной и трех­ слойной СР, либо исходя из ограничений технического характера. Ниже рассматривается возможность выбора структуры (числа слоев и числа ЛПЭ в слое) многослойных СР с перекрестными связями, состоящих из ЛПЭ с двумя решениями.

Необходимо остановиться на критерии сложности задачи распознавания решаемой многослойной СР. При использо­ вании детерминированной модели СР таким критерием мо­ жет служить количество эталонных образов, заключаемых в замкнутые области гиперплоскостями, реализуемыми ЛПЭ первого слоя в исходном пространстве признаков. При рассмотрении вероятностной модели СР каждому эта­ лонному образу соответствует мода функции распределе­ ния вероятностей совокупности образов на входе СР. При этом в каждой области исходного пространства признаков многослойная СР выделяет уже не эталонный образ, а не­ которое компактное множество образов. При многомодаль­ ных распределениях совокупностей образов на входе СР эти компактные множества могут характеризоваться об­ ластями в многомерном пространстве признаков, образо-

110

ванными линиями равных значений плотности распреде­ лений (на определенном уровне). Число и сложность дан­ ных областей совместно характеризуют сложность решае­ мой задачи. При этом детерминированная модель СР может рассматриваться как частный случай вероятностной и реа­ лизует, по сути дела, систему памяти для конечного числа многомерных векторов. Принимая в данном параграфе за критерий качества многослойной СР число областей, реализуемых подобной СР в исходном пространстве при­ знаков, необходим отметить, что качество многослойной

Рис. 4-18. Двухслойная СР с перекрестной связью, одномерный вариант.

СР с последовательными связями, рассмотренной выше, монотонно возрастает при увеличении числа слоев и числа элементов в каждом слое. Поэтому в подобной СР задача оптимизации структуры (минимизация числа ЛПЭ и числа слоев) может быть поставлена только либо в плане ликви­ дации избыточности числа ЛПЭ, либо при наличии ограни­ чений на число ЛПЭ.

Основное внимание ниже уделяется многослойным СР с полными перекрестными связями, когда множество при­ знаков каждого слоя состоит из признаков исходного про­ странства и выходных сигналов первого, второго и (/—1)-го слоя. Для подобной СР задача оптимизации структуры, в частности выбора числа слоев и числа ЛПЭ в каждом слое при ограничении на общее число ЛПЭ в сети, является актуальной.

Рассмотрим на простейшем примере одномерного варианта, когда N = 1 (одни признак х), принцип действия перекрестной связи. Структурная схема рассматриваемой двумерной СР представ­ лена на рис. 4-18. Разделяющая поверхность, реализуемая подоб­

111

при включенной перекрестной связи представляется следующим образом:

£l = «0 + апХ~ а1 - аГ

gll = а0+ апХ+ а1 ~ аГ em = ao + anx + ai + a2-

Каждую из областей I, II, III СР делит на две подобласти, где g > 0 и g < 0. Из условия равенства нулю gv gn , ^ следуют вы­

ражения для дополнительных порогов при включении обратной

Таким образом, рассматриваемая СР (рис. 4-18) реализует максимально пять порогов, делящих ось х на шесть областей. В этом случае СР, изображенная на рис. 4-18, эквивалентна (по критерию максимума количества областей, реализуемых кусочно-линейной разделяющей поверхностью в исходном пространстве признаков) многослойной СР с последовательными связями с пятью ЛПЭ в пер­ вом слое, т. е. СР с перекрестными связями реализуется значительно проще, чем СР с последовательными связями.

В процессе анализа многослойной СР необходимо знать максимальное число областей, на которое пространство признаков размерности N может быть разбито Н 1 гипер­ плоскостями. Согласно результату, полученному в [Л. 19],

112

Вывод верхней и нижней оценки количества областей

Рассмотрим многомерный вариант (г -- 1, . . . , N) СР, структура которой представлена на рис. 4-20. Обозначим количество областей, на которое разбивает исходное про­ странство признаков (у—1)-слойная СР через f где

через [/—1] обозначено условно эквивалентное количество гиперплоскостей, реализуемых многослойной сетью с пол­

ваемых весов входных и промежуточных сигналов (у—1)-

вектор выходных сигналов ЛПЭ (у—1)-го слоя.

Отсюда следует, что по отношению к исходному прост­ ранству признаков каждый из ЛПЭ в у-м слое реализует столько параллельных гиперплоскостей, сколько вариантов вектора xk ._t порождает (у—1)-слойная СР. Предполагая,

что существует метод настройки СР, при котором все ги­ перплоскости, порождаемые вектором в у'-м слое,

попадают в область исходного пространства признаков, соответствующую ему, запишем рекуррентную формулу для вычисления верхней оценки в виде

113

Это следует из того, что каждая из Ч ^ ^ .^ областей выделяемая (/—1)-слойиой подсетью, разбивается на XVNII. областей. Здесь Ч *^. определяется рекуррентным выра­

жением (4-12). Запишем теперь нерекуррентную формулу. Из (4-16), а также из того, что первый слой СР разбивает

мых hj-м ЛПЭ, выполнения условия более сильного, чем попадание в область, соответствующую вектору хА ._г

Именно потребуем, чтобы некоторое количество гиперпло­ скостей из 4*^ могли быть проведены через любую точку

исходного пространства изменением только свободного члена в уравнении гиперплоскости. Отметим, что в этом случае эти гиперплоскости, несомненно, могут попасть в любую область. Для оценки их количества составим си­ стему линейных уравнений относительно настраиваемых весов и порога элемента hx

114

можно задать произвольно, не нарушая равенства (4-17а), есть искомое число гиперплоскостей из числа [;._j

которые могут быть проведены через любую точку исход­ ного пространства. Из (4-17) следует, что это число есть (Ls_j + 1), т. е. равно размерности вектора ah2 плюс еди­

ница.

Отсюда следует рекуррентная формула для вычисления нижней оценки количества областей:

Выражение (4-18) есть окончательный результат вывода. В одномерном случае (4-18) имеет следующий вид:

Частная задача оптимизации

Можно сформулировать несколько задач оптимизации структуры многослойных СР с перекрестными связями.

1. Задано число слоев и число ЛПЭ многослойной СР. Найти распределение ЛПЭ по слоям, максимизирующее число областей ¥ , образованных кусочно-линейной разде­ ляющей поверхностью, реализуемой данной многослойной

СР в исходном пространстве признаков.

2. Задано общее число ЛПЭ сети. Найти число слоев и распределение ЛПЭ по слоям, максимизирующее ¥ .

3.Задано количество областей ¥ , которое должно быть реализовано сетью, и число слоев в ней. Найти структуру, минимизирующую количество элементов в сети.

4.Найти структуру (количество слоев и распределение

ЛПЭ по слоям) при заданном ¥ , минимизирующую коли­

115

чество ЛПЭ в сети. Отметим, что оптимизация структуры по числу областей представляет частный критерий опти­ мальности СР. Рассмотрим синтез структуры одномерного варианта сети для указанных задач оптимизации.

т. е. при заданном числе слоев имеющееся число ЛПЭ надо

по слоям равномерно, причем не имеет значения как именно.

116

В этом смысле (4-23) есть верхняя оценка 4r?pt IW ], которая становится точной верхней оценкой при Я — KW, где К — целое.

2. Для заранее незаданного числа слоев W и при огра­ ничениях на количество ЛПЭ Я в сети найдем оптималь­ ную по верхней оценке структуру. Это можно записать сле­ дующим образом:

следует, что число областей с ростом числа слоев монотонно возрастает. Отсюда получается, что оптимальной в данном случае является Я-слойная сеть с одним элементом в каж­ дом слое, для которой из (4-23) следует, что

есть точная верхняя оценка.

3.Для заранее заданного числа слоев W и суммарного

количества ЛПЭ в сети найдем структуру, оптимальную по нижней оценке. С этой целью представим (4-19) в виде

гласно методу множителей Лагранжа достигается в случае,

117

ЛПЭ в слое. Таким образом, в одномерном случае (N = 1) структуры, оптимальные по верхней и нижней оценкам, совпадают.

Для многомерного варианта сети, оптимальной по верх­ ней оценке, на основании (4-17), так же как в одномерном случае, можем записать:

/=1

Из (4-27), а также из (4-14) и (4-15) следует, что усло­ виям оптимальности (4-27) отвечает целый класс структур, именно все структуры, для которых Я,- < N (/ = 1, . . .

. . . , Г ) :

w

4-7. Оптимизация структуры по некоторым основным топологическим характеристикам

При технической реализации СР возникает естествен­ ное желание ограничить суммарное число входов в сети, вызванное тем, что число входов есть число технически трудно реализуемых блоков умножения. На этапе настройки

118

выбранной структуры число входов равно размерности пространства настраиваемых коэффициентов, в котором производится поиск экстремума функционала качества СР. Поэтому уменьшение числа входов многослойной СР облегчает как реализацию, так и настройку.

Для СР с полными перекрестными связями суммарное

с полными перекрестными связями, оптимальной по верх­ ней или нижней оценке количества областей при ограниче­ нии на суммарное число входов у в сети, формулируется следующим образом:

Индекс* означает экстремальное значение. С учетом (4-30) обратная задача, т. е. задача синтеза многослойной СР с полными перекрестными связями, минимальной по суммарному числу входов, при ограничении на количество областей ¥ , реализуемых СР, имеет следующий вид:

z/=i

¥'> ¥

N [ № ] ^ -

В формулах (4-31) и (4-32) ¥ ;V[U7] в зависимости от вида оценки определяется выражением (4-17) или (4-18).

119