Добавил:
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:

книги из ГПНТБ / Галушкин, А. И. Синтез многослойных систем распознавания образов

.pdf
Скачиваний:
11
Добавлен:
22.10.2023
Размер:
12.65 Mб
Скачать

21.Мкртчян С. О. Нейроны и нейронные сети. М., «Энергия», 1971, 231 с.

22.Нильсон Н. Обучающиеся машины. М., «Мир», 1967, 180 с.

23.Пирс У. Построение надежных вычислительных машин. М., «Мир», 1968, 270 с.

24.Позин Н. В. Моделирование нейронных структур. М., «Наука», 1970, 259 с.

25.Пугачев В. С. Теория случайных функций и ее применение

к задачам автоматического управления. М., Физматгиз, 1960,

883с.

26. Пугачев В. С. Оптимальное обучение автоматических си­

стем в изменяющихся условиях.— Труды III Всесоюзного совеща­ ния по автоматическому управлению. (Оптимальные системы. Ста­ тистические методы). М., «Наука», 1967, 392 с.

27.Рао С. Р. Линейные статистические методы и их примене­ ние. М., «Наука», 1968, 547 с.

28.Растригин Л. А. Статистические методы поиска. М., «Наука», 1968, 376 с.

29.Раудис Ш. Ю. Исследование зависимости вероятности

ошибки классификации от объема обучающей выборки.— Деп. ВИНИТИ, № 313-68.

30.Раудис Ш. Ю. Об определении объема обучающей выборки линейного классификатора.— В сб.: Вычислительные системы. Новосибирск, «Наука», 1967, вып. 22.

31.Розенблатт Ф. Принципы нейродинамики. М., «Мир», 1965,

480 с.

32.Романовский В. И. Математическая статистика. М.—Л.,

ГОНТИ, 1938, 528 с.

33.Аналитические самонастраивающиеся системы. Под ред. В. В. Солодовникова. М., «Машиностроение», 1965, 355 с.

34.Себестиан Г. С. Процессы принятия решений при распоз­ навании образов. Киев, «Техника», 1965, 151 с.

35.Техническая кибернетика. Под ред. В. В. Солодовникова. Т. 1—3. М., «Машиностроение», 1969, 1970.

36.Уидроу. Распознавание образов и адаптивное управление.— «Зарубежная радиоэлектроника», 1965, № 9, с. 87—111.

37.Уилкс С. Математическая статистика. М., «Наука», 1967,

242с.

38.Феллер В. Введение в теорию вероятностей и ее приложе­ ния. Т. 2. М., «Мир», 1964, 498 с.

39.Худсон Д. Статистика для физиков М., «Мир», 1967, 242 с.

40.Цыпкин Я. 3. Адаптация и обучение в автоматических системах. М., «Наука», 1968, 399 с.

41.Цыпкин Я . 3. Основы теории обучающихся систем. М., «Наука», 1970, 251 с.

42.Элдертон П. Кривые распределения численностей и корре­

ляция. М., ЦСУ, 1924, 199 с.

43.Cooper Р. W. The hypersphere in pattern recognition.— «Information and Control», 1962, № 5.

44.Дада P. О., Фоссум Б. Классификация изображений при помощи итеративно определяемой линейной и кусочно-линейной

классифицирующих функций.— Экспресс-информация. Техниче­ ская кибернетика, ВИНИТИ АН СССР, 1966, j\s 35, реферат 138.

45. Elderton Р. W. Frequency curves and correlation. Cambridge, Univ. Press, 1953, 272 p.

361

46.Галушкин А. И. Многослойные системы распознавания образов. М., МИЭМ, 1970, 167 с.

47.Галушкин А. И. Методы синтеза систем распознавания об­ разов.— «Труды МИЭМ», 1969, вып. 6, с. 133—172.

48.Галушкин А. И. Расчет и реализация оптимальных дис­

кретных фильтров.— В сб.: Автоматическое управление и вычис­ лительная техника. М., 1968, вып. 9, с. 72—128.

49.Галушкин А. И., Зотов Ю. Я., Шикунов Ю. А. Оператив­ ная обработка экспериментальной информации. М., «Энергия», 1972. 360 с.

50.Галушкин А. И. Исследование характеристик входного сигнала систем распознавания образов. Аннотации и тезисы Докла­

дов II Всесоюзной конференции по технической кибернетике. Минск,

1969,

с.

38—39.

 

51.

Галушкин А. И. О характеристиках входных сигналов си­

стем

распознавания

образов.— «Труды МИЭМ», 1971, вып. 14,

с. 125—138.

 

52.

Галушкин А. И. Единый подход к решению задач обуче­

ния

и

самообучения

систем распознавания образов.— «Труды

МИЭМ», 1970, вып. 6, с. 104—120.

53. Галушкин А. И. Выбор критериев первичной оптимиза­ ции и построение оптимальной модели систем распознавания клас­ сов образов в режиме обучения.— В сб.: Автоматическое управле­ ние и вычислительная техника. М., «Машиностроение», 1972, вып. 10, с. 104—116.

54.Галушкин А. И. О разделяющих поверхностях произволь­ ного порядка в системах распознавания образов.— «Труды МИЭМ», 1970, вып. 6, с. 261-270.

55.Галушкин А. И., Каймин В. А. Моментный подход к реше­ нию задачи самообучения систем распознавания образов.— «Труды МИЭМ», 1971, вып. 14, с. 139—146.

56.Галушкин А. И. Синтез обучающихся по разомкнутому циклу систем распознавания нестационарных образов.— «Техни­ ческая кибернетика». АН СССР, 1971, № 1, с. 167—173.

57.Галушкин А. И. Синтез обучающихся по разомкнутому

циклу

систем распознавания нестационарных образов.— «Труды

МИЭМ», 1970, вып. 6, с. 172—238.

 

58.

Галушкин А. И. Методика синтеза обучающихся по разомк­

нутому

циклу систем распознавания нестационарных образог.—

Тезисы

докладов

III Украинской

республиканской конференции

по бионике. Киев,

ИК АН УССР,

1969.

59.Галушкин А. И., Юмашев С. Г. О кусочно-линейных раз­ деляющих поверхностях в системах распознавания образов.— Те­ зисы доклада I Всесоюзной межвузовской конференции по техни­ ческой кибернетике. М., 1969, с. 93—94.

60.Галушкин А. И., Юмашев С. Г. О применении кусочно­ линейных разделяющих поверхностей в задаче распознавания об­

разов.— «Труды МИЭМ», 1970, вып. 6, с. 238—255.

61. Галушкин А. И. Об алгоритмах адаптации в многослойных системах распознавания образов.— Доклады АН УССР, 1973.

62. Галушкин А. И., Зак Л. Е., Тюхов Б. П. К сравнению кри­ териев оптимизации адаптивных систем распознавания образов.— «Кибернетика». АН УССР, 1970, № 6, с. 122—130.

63. Галушкин А. И. Реализация Критериев первичной оптими­ зации в системах распознавания образов, настраивающихся по замк­

362

нутому циклу, в режиме обучения.— «Труды МИЭМ», 1971, вып. 23,

с. 191—205.

 

 

метода по­

64. Галушкин А. И. Анализ одного итерационного

иска экстремума.— «Автоматика

и

вычислительная

техника»,

АН Латв. ССР, 1970, № 2, с. 38—40.

 

65. Галушкин А. И., Шмид А.

В.

Итерационные методы поиска

экстремума .функций многих переменных при ограничениях типа равенств.— «Автоматика и вычислительная техника». АН Латв.

ССР, 1971, № 4, с. 88—91.

66. Анализ динамики систем распознавания нестационарных образов.— «Труды МИЭМ», 1971, вып. 23, с. 210—227. Авт.: Галуш­ кин А. И., Василькова Т. Ф., Слободенюк В. И. и др.

67. Галушкин А. И., Тюхов Б. П., Чигринов В. Г. О сходимости одного метода случайного поиска при отыскании локальных и гло­ бального экстремумов многоэкстремальной функции.— «Труды, МИЭМ», 1971, вып. 23, с. 205—209.

68. Галушкин А. И. Распознавание сигналов на септронах. М., «Энергия», 1974.

О Г Л А В Л Е Н И Е

 

 

 

Введение

............................................................................................

 

 

3

Г л а в а

п е р в а я .

Исследование характеристик входных

18

 

 

сигналов системы распознавания

. . .

1-1.

Постановка

зад ач и ................................................................

вход­

18

1-2.

Совместный

закон распределения вероятностей

 

1-

ного сигнала для двух классов образов .............................

вход­

20

3. Совместный закон распределения вероятностей

26

 

ного сигнала для К классов образов................................

 

 

 

Г л а в а

в т о р а я .

Построение оптимальных

моделей СР

.

30

2-

1.Общая структура оптимальной м одели............................

 

 

30

2-2.

Аналитическое представление разделяющих поверхно­

31

2-3.

стей в типовых С Р .................................................................

для

многомерных сигналов

Оптимальная

модель СР

 

 

* (я) и х* ( я ) .............................................................................

 

 

 

 

 

 

 

54

2-4.

Априорная

информация

о

входном

сигнале

СР

56

2-5.

в режиме самообучения.........................................................

 

 

 

 

 

 

О критериях первичной оптимизации СР в режиме са­

58

2-

мообучения

............................................................................

 

 

 

 

 

 

при

6. Оптимальные модели СР в режиме самообучения

60

 

произвольной квалификации учителя.................................

 

 

 

Г л а в а

т р е т ь я .

Построение

СР,

настраивающихся

по

64

 

 

 

разомкнутому

циклу ................................

 

 

 

3-

1. Классификация

типовых

распределений.....................

 

 

64

3-2.

Построение СР, оптимальных для совокупностей обра­

65

3-3.

зов, распределенных по некоторым типовым Законам

.

Построение СР,

оптимальных для совокупности раз­

69

3-4.

личных законов

распределений вероятностей . .

.

.

Метод допустимых преобразований.....................................

 

 

 

70

3-5. Построение СР нестационарных образов .........................

 

 

75

3-6.

Построение настраивающихся по разомкнутому циклу

77

3-7.

СР в режиме самообучения.................................................

 

 

 

 

Исследование точности СР,

настраивающихся по ра­

80

3-

зомкнутому

ц и к л у ................................................................

 

 

 

 

 

 

8. Исследование точности замкнутой СР по величине ве­

 

роятности

правильного распознавания

........................

 

 

85

Г л а в а

ч е т в е р т а я .

Описание

и

выбор

структуры

ра­

89

 

 

 

 

зомкнутой

С Р ......................................

 

 

 

4-

1. Постановка зад ач и ...............................................................

 

 

 

поверхности

.

89

4-2.

Линейная

и

нелинейныеразделяющие

90

364

4-3.

Реализация СР с кусочно-линейной разделяющей

по­

 

4-4.

верхностью в виде многослойной СР на Л П Э ................

94

Классификация

типов структур разомкнутых много­

96

4-5.

слойных СР с последовательными связям и .........................

 

Структурное

и символическое описание разомкнутых

107

4-6.

многослойных

С Р ...............................................................

 

 

 

Оптимизация структуры многослойных СР с перекре­

110

4-7.

стными

связям и ...................................................................

 

 

 

Оптимизация структуры по некоторым основным топо­

118

4-

логическим

характеристикам...........................................

 

 

8. Оптимизация структуры многослойных СР с К р реше­

 

ниями

..................................................................................

 

 

 

 

 

122

Г л а в а

п я т а я . Анализ разомкнутых СР . . . . . . .

.

124

5-

1. Законы распределения

аналоговой и дискретной оши­

5-2.

бок СР

..................................................................................

 

 

 

 

 

124

Выбор функционала вторичнойоптимизации . . . .

134

5-3.

Формирование функционалов вторичной оптимизации,

 

 

соответствующих заданному критерию первичной оп­

137

5-

тимизации

...........................................................................

 

 

 

 

4. СР в режимах самообучения и при произвольной ква­

 

лификации

учителя ...........................................................

 

 

 

147

Г л а в а

ш е с т а я .

Разработка алгоритмов поиска экстре­

147

 

 

 

мума функций многих

переменных

. .

6-

1. Организация процедуры поиска экстремума функцио­

6-2.

нала вторичной оптимизации вС Р .................................

 

147

Анализ итерационного метода поиска экстремума функ­

 

6-3.

ций многих переменных....................................................

 

149

Итерационные

методы поиска экстремума функций

 

 

многих переменных при наличии ограничений типа ра­

152

6-4.

венств на переменные.........................................................

 

 

 

Итерационные методы поиска экстремума функций мно­

 

 

гих переменных при наличии ограничений типа нера­

 

6-5.

венств на переменные........................................................

 

 

158

Алгоритм случайного поиска локальных и глобального

 

6-

экстремумов функций многих переменных....................

160

6.Построение алгоритмов адаптации в многослойных СР

 

 

с использованием оценок производных второго порядка

162

 

функционала

вторичной

оптимизации ........................

 

Г л а в а

с е д ь м а я .

 

Построениезамкнутых

С Р ...................

166

7-

1.Постановка

з а д а ч и ......................................................

 

 

166

7-2.

ЛПЭ с двумя и континуумом р е ш е н и й ................. .

.167

7-3.

Двухслойные

СР ..........................................................

 

 

171

7-4.

Многослойные СР из ЛПЭ с континуумом решений

.

175

7-5.

Построение

СР, настраивающихся

по замкнутому

 

7-6.

циклу при ограничениях на перем енны е....................

178

Реализация критериев первичной оптимизации в ЛПЭ

 

7-7.

с двумя

реш ен иям и .......................................................

 

 

181

Реализация критерия минимума средней функции

184

7-8.

риска в ЛПЭ с континуумом и К решениями . . .

.

Реализация

критерия

минимума средней функции

186

 

риска в СР с N* выходными каналами (слой ЛПЭ1 .

.

365

7-9.

Реализация критерия минимума средней функции

187

7-10.

риска в многослойных С Р ...............................................

Построение замкнутых СР нестационарных образов .

190

7-11.

Построение СР с перекрестными и обратными связями,

193

7-12.

настраивающихся по замкнутому ц и к л у ....................

Построение замкнутых СР в режимах самообучения и

194

 

произвольной

квалификации учителя...........................

7- 13. Вывод выражений для оценок производных второго

 

порядка функционала вторичной оптимизации . . .

196

Г л а в а

в о с ь м а я .

Исследование замкнутых многослой­

199

 

 

 

ных С Р .......................................................

8-1.

Постановка задачи синтеза контура настройки СР по

199

8-2.

замкнутому

циклу ........................................................

О выборе начальных условий настройки в многослой­

201

8-3.

ных

С Р ..............................................................................

 

Типовые входные сигналы С Р ..........................................

202

8-4.

Аналитические методы исследования СР, настраиваю­

204

 

щихся

по замкнутому циклу ..........................................

8-5.

 

Исследование ЛПЭ при многомодальном распределе­

8-6.

нии входного сигнала..........................................................

 

215

Исследование динамики частного вида СР нестацио

8-7.

парных

о б р азо в ..................................................................

 

 

223

Исследование динамики трехслойной СР в режиме

8-8.

 

обучения

 

...........................

 

 

 

230

 

Исследование СР частного вида с обратными

связями 235

8-9.

Исследование динамики однослойных СР в режиме

8-

 

 

самообучения

 

................................................................

 

 

239

10.Двухслойная СР в режиме самообучения......................

 

249

8-11.

 

О некоторых инженерных методах выбора параметров

 

 

 

матриц в алгоритмах настройки многослойных СР по

8-12.

 

замкнутому

циклу ..................................................

 

259

 

Построение многослойной СР для решения задачи об­

8-13.

ращения

матрицы

..............................................................

 

260

Построение многослойной системы для решения за­

 

 

 

дачи перевода чисел из двоичной системы исчисления

8-

 

 

в

десятичную...................

 

 

 

263

14.

Исследование

многослойной СР при произвольной

 

 

 

квалификации

учителя..................................................

 

265

Г л а в а

 

 

д е в я т а я .

Синтез многослойных СР с переменной

 

 

 

 

 

 

 

структурой ..............................................

 

266

9-

1.

Последовательный

алгоритм обучения ЛПЭ

первого

9-2.

 

слоя многослойной ......................................................

С Р

 

267

 

Алгоритм обучения ЛПЭ первого слоя многослойной СР

 

 

с применением метода случайного поиска локальных

9-3.

 

и глобального экстремумов ф ункций..............................

 

272

Анализ сходимости алгоритмов при увеличении числа

9-4.

 

гиперплоскостей ..............................................................

 

 

 

276

 

Алгоритм обучения ЛПЭ второго слоя двухслойной СР 280

9-5.

 

Алгоритмы

обучения второго и третьего слоев

ЛПЭ

9-6.

 

трехслойной ..................................................................

С Р

 

 

288

Общая

методика

последовательного синтеза

много­

9-7.

 

слойных

С Р ..........................................................................

 

 

 

 

291

Метод обучения ЛПЭ первого слоя многослойной СР

 

 

с континуумом ................................................признаков

 

292

366

Г л а в а

 

д е с я т а я .

Выбор

информативных

признаков

в

293

 

 

 

 

многослойных

С Р .................................

 

 

10-1.

Постановка задачи выбора информативных призна­

 

10-2.

 

ков в режиме обучения

. . ............................................ 293

 

О выборе информативных признаков в системах с на­

296

10-3.

 

стройкой по замкнутому циклу

....................................

 

 

 

Определение оптимального маршрута выбора призна­

 

 

 

ков, обеспечивающих максимальную вероятность пра­

300

10-4.

 

вильного

распознавания ................................................

 

 

 

 

О структурных методах выбора информативных при­

301

10-5.

знаков в СР с фиксированной

структурой ...............

 

Выбор информативных признаков исходного про­

 

 

 

странства с помощью многослойных СР с последова­

 

10-

 

тельными алгоритмами настройки ЛПЭ первого слоя

 

6. О выборе информативных признаков в многослойных

 

 

СР в режиме самообучения..............................................

 

 

 

309

Г л а в а

 

о д и н н а д ц а т а я .

О принципах построения спе­

 

 

 

 

 

 

циализированных многослой­

 

 

 

 

 

 

ных СР в аналоговом испол­

310

 

 

 

 

 

нении

..................................

 

 

11-

1. Специализированные системы распознавания . . . .

310

11-2.

О построении комбинированных специализированных

315

11-3.

СР ............................................................................

 

 

 

 

...

.

Экспериментальная модель многослойной СР, реали­

 

 

 

зованная на универсальных АВМ и специальной при­

316

 

 

ставке ................................................................

 

 

 

 

- • -

11-4. Описание макета многослойной С Р ..............................

 

 

326

Заключение ..........................................................................................

 

 

 

 

 

 

329

П р и л о ж е н и е

1.

Результаты исследования

двухслойной

333

 

 

 

 

СР с ЛПЭ во втором с л о е ..........................

 

 

П о и л о ж е н и е

2.

Результаты исследования

трехслойных

 

F

 

 

 

СР ............................................................

 

 

 

349

Основные

обозначения......................................................................

 

 

 

 

358

Список

литературы

............................................................................

 

 

 

 

 

361

Александр Иванович

Г а л у ш к и н

С и н т е з м н о г о с л о й н ы х

с и с т е м

р а с п о з н а в а н и я о б р а з о в

Редактор

Г. Н. Д е м и н а

Л и х а ч е в а

Редактор

издательства

Г. В.

Переплет художника А. М. К у в ш и н н и к о в а Технический редактор Л. В. И в а н о в а Корректор А. Д. Х а л а н с к а я

Сдано в набор 28/П 1974 г. Подписано к печати 19/VIII 1974 г. Т-14560. Формат 84Х108'/з2. Бумага типографская № 2. Уел. печ. л. 19,32. Уч.-изд. л. 20,03. Тираж 8 000 экз. Зак. 975. Цена 1 р. 14 к.

Издательство «Энергия». Москва, М-114, Ш люзовая наб., 10.

Ленинградская типография № 4 Союзполиграфпрома при Государственном комитете Совета Министров СССР по делам издательств, полиграфии и книжной торговли. 196126, Ленинград, Ф-126, Социалистическая ул., 14.

Соседние файлы в папке книги из ГПНТБ