8

Алгоритмы нейронных сетей

На сегодняшний день искусственные нейронные сети, ИНС (или ANN — Artificial Neural Networks) являются одним из наиболее важных методов машинного обу­ чения. Этому способствуют необходимость решения все более сложных задач, лавинообразный рост объемов данных и появление таких технологий, как легко­ доступные дешевые кластеры. Такие кластеры способны обеспечить вычисли­ тельную мощность, необходимую для разработки крайне сложных алгоритмов.

ИНС — стремительно развивающаяся область исследований, отвечающая за важнейшие достижения в таких отраслях, как робототехника, обработка есте­ ственного языка и создание беспилотных автомобилей.

Основной структурной единицей ИНС является нейрон. ИНС позволяет ис­ пользовать потенциал большого количества нейронов, организуя их в много­ слойную архитектуру. Сигнал проходит через слои и различными способами обрабатывается в каждом из них до тех пор, пока не будет сгенерирован требу­ емый результат. Скрытые слои в ИНС выступают в качестве уровней абстракции, что позволяет осуществлять глубокое обучение. Этот метод широко использует­ ся при реализации мощных приложений, таких как Amazon Alexa, Google Photos и поиск по изображениям в Google.

В этой главе мы познакомимся с основными понятиями ИНС, рассмотрим компоненты и типы нейронных сетей, а также различные виды функций акти­ вации. Затем подробно обсудим алгоритм обратного распространения ошибки, который чаще всего используется для обучения нейронной сети. Далее мы по­ знакомимся с переносом обучения, с помощью которого можно значительно упростить и частично автоматизировать обучение моделей. Наконец, разберем

234 Глава 8. Алгоритмы нейронных сетей

практический пример использования глубокого обучения для выявления фаль­ шивых документов.

Ниже приведены основные концепции, обсуждаемые в этой главе: zz Введение в ИНС.

zz Эволюция ИНС.

zz Обучение нейронной сети. zz Инструменты и фреймворки. zz Перенос обучения.

zzПрактический пример — использование глубокого обучения для выявления мошенничества.

Начнем с изучения основ ИНС.

ВВЕДЕНИЕ В ИНС

В1957 году, вдохновившись работой нейронов в человеческом мозге, Фрэнк Розенблатт предложил концепцию нейронных сетей. Чтобы в полной мере по­ нять ИНС, будет полезным получить представление о том, как связаны нейро­ ны в человеческом мозге. Рассмотрим слоистую структуру нейронов, представ­ ленную на следующей схеме (рис. 8.1).

Вчеловеческом мозге дендриты действуют как датчики, которые улавливают сигнал. Затем сигнал передается на аксон, представляющий собой длинный тонкий отросток нервной клетки. Работа аксона заключается в передаче сигна­ ла мышцам, железам и другим нейронам. Прежде чем перейти к следующему нейрону, сигнал проходит через соединение, называемое синапсом. Обратите внимание, что по этому органическому конвейеру сигнал движется до тех пор, пока не достигнет нужной мышцы или железы, где он вызовет необходимую реакцию. Обычно требуется от семи до восьми миллисекунд, чтобы сигнал про­ шел через цепочку нейронов и достиг места назначения.

Вдохновившись этим шедевром обработки сигналов, созданным самой природой, Фрэнк Розенблатт спроектировал метод, позволяющий обрабатывать цифровую информацию послойно для решения сложных математических задач. Результа­ том его первой попытки создания нейронной сети стала довольно простая сеть, напоминающая модель линейной регрессии. Она не имела никаких скрытых слоев и была названа перцептроном (рис. 8.2).

Рис. 8.1

Рис. 8.2

Сформулируем математическое описание перцептрона. В левой части преды­ дущей схемы представлены входные сигналы. Каждый сигнал (x1, x2 .. xn) умно­ жается на присвоенный ему вес (w1, w2 ... wn), а затем результаты суммируются, и получается взвешенная сумма:

Обратите внимание, что это бинарный классификатор, поскольку конечный выход перцептрона является истинным или ложным в зависимости от выхода агрегатора (на схеме показан как Σ). Агрегатор выдаст истинный сигнал, если обнаружит валидный сигнал хотя бы на одном из входов.

Давайте узнаем, как нейронные сети эволюционировали с течением времени.

ЭВОЛЮЦИЯ ИНС

В предыдущем разделе мы узнали о создании перцептрона‚ простой нейронной сети без каких-либо слоев. Позже было обнаружено, что перцептрон имеет се­ рьезные ограничения. В 1969 году Марвин Мински и Сеймур Пейперт провели исследования и пришли к выводу, что перцептрон не способен обучаться какойлибо сложной логике.

Более того, эти исследования показали, что будет затруднительно обучить его даже такой простой логической функции, как XOR (исключающее «или»). Это вызвало снижение интереса к МО в целом и нейронным сетям в частности и по­ ложило начало эпохе, получившей название зимы искусственного интеллекта. Исследователи по всему миру не воспринимали ИИ всерьез, считая, что он неспособен решать хоть сколько-нибудь сложные задачи.

Одной из основных причин так называемой зимы ИИ стала ограниченность доступных в то время аппаратных возможностей. Либо не было необходимых вычислительных мощностей, либо они были непомерно дорогими. К концу 1990-х годов достижения в области распределенных вычислений обеспечили доступность инфраструктуры, что привело к окончанию зимы искусственного интеллекта. Эта оттепель активизировала исследования в области ИИ.

В конечном итоге наступила эпоха, которую можно назвать весной искусственного интеллекта. Ее характеризует большой интерес к ИИ в целом и нейронным сетям в частности.

Для более сложных задач исследователи разработали многослойную нейронную сеть — многослойный перцептрон. Эта сеть имеет несколько слоев, как показано на рис. 8.3:

zz входной слой;

zz скрытый слой (слои); zz выходной слой.

Глубокая нейронная сеть — это нейронная сеть с одним или несколь­ кими скрытыми слоями. Глубокое обучение — это процесс обучения такой ИНС.

Нейрон является основной единицей сети, и каждый нейрон любого слоя связан со всеми нейронами следующего слоя. Для сложных сетей количество таких соединений резко возрастает. Мы рассмотрим различные способы сокращения этих взаимосвязей без большой потери качества.

Сформулируем задачу.

Входными данными является вектор признаков x размерности n.

Нейронная сеть должна предсказывать значения. Прогнозируемые значения представлены в виде y′.

Наша задача — на основе некоторых входных данных определить вероятность того, что транзакция является мошеннической. Другими словами: при опреде­ ленном значении x какой будет вероятность того, что y = 1? Математически это можно представить так: