История
Наверно, можно считать, что история нейронных сетей начинается с тех времен, когда людей начало интересовать их собственное мышление.
Те, кто опирался на самоанализ и размышление, пришли к выводам, не отвечающим уровню строгости физических наук. Экспериментаторы же нашли, что мозг труден для наблюдения и ставит в тупик своей организацией. Но нейробиологи и нейроанатомы достигли значительного прогресса.
В процессе накопления ими знаний выяснилось, что мозг имеет ошеломляющую сложность. Сотни миллиардов нейронов, каждый из которых соединен с сотнями или тысячами других, образуют систему, далеко превосходящую самые смелые мечты о суперкомпьютерах.
В 1943 году Норберт Винер публикует труд о кибернетике. Основной идеей работы оказывается математическое моделирование биологических процессов. В этом же году Маккалок и Питтс дают понятие нейронной сети в фундаментальной статье о логическом исчислении идей и нервной активности
Параллельно с прогрессом в нейроанатомии и нейрофизиологии психологами были созданы модели человеческого обучения. Одной из оказавшихся наиболее успешной, была модель Д. Хэбба, опубликованная в 1949 г. В ней изложен закон обучения ИИ, ставший стартом для алгоритмов обучения искусственных нейронных сетей.
В 1958 Розенблаттом изобретен перцептрон. Это первые модели, состоящие из единственного слоя искусственных нейронов. Их использовали для такого широкого класса задач, как предсказание погоды, анализ электрокардиограмм и искусственное зрение.
В 1960 году Уидроу совместно со своим студентом Хоффом на основе формулы Уидроу разработали Адалин, он был построен на базе созданных ими же принципиально новых элементах - мемисторах. Сейчас Адалин (адаптивный сумматор) является стандартным элементом многих систем обработки сигналов.
А в 1961 году под руководством М. М. Бонгарда разработана программа «Кора», задачей которой является нахождение разделяющего правила сразу после нахождения операторов, характеризующих объект или его часть достаточно четко. Программа Кора используется для распознавания нефтеносных пластов.
Получается, в 50-х, 60-х годах прошлого столетия были созданы первые искусственные нейронные сети. Изначально они были представлены как электронные сети, позднее их смоделировали с помощью компьютерной техники. Первые успехи вызвали взрыв активности и оптимизма. В течение некоторого времени казалось, что ключ к интеллекту найден, и воспроизведение человеческого мозга является лишь вопросом конструирования достаточно большой сети.
Но эта иллюзия скоро рассеялась. Сети не могли решать задачи, некоторые простейшие задачи, сходны с теми, с которыми они успешно справлялись. В 1969 году Минский публикует книгу-доказательство ограниченности перцептрона и показывает, что он неспособен решать некоторые задачи (Проблема "четности" и "один в блоке"), связанные с инвариантностью представлений. Минский представил, казалось бы, железные аргументы против перцептрона, которое означало полный разгром идем ИИ. Престиж ученого повлиял на мнение других светлых умов, из-за чего искусственные нейронные сети оставались без внимания почти 20 лет.
Тем не менее, некоторые ученые продолжили исследования. Так, в 1974 Пол Дж. Вербос и А. И. Галушкин одновременно изобретают алгоритм обратного распространения ошибки для обучения многослойных перцептронов. А буквально через год Фукусима представляет Когнитрон. Это самоорганизующуюся сеть, предназначенная для инвариантного распознавания образов, правда сеть для этого должна была запомнить почти все состояния.
Но из-за отсутствия финансирования со стороны государств исследователи практически не публиковались в известных изданиях. Поэтому все труды 70-х годов разбросаны в изданиях с низким рейтингом/ известностью. Но благодаря этому появилась теоретическая база, на основе которой сегодня конструируются мощные сети из множества слоев. Оценка Минского оказалась неверной, многие из представленных им задач сегодня решаются сетями с помощью стандартных процедур.
Но уже в 80-х годах мир снова вспоминает про искусственные нейронные сети.
В 1982 Хопфилд создал нейронную сеть с обратными связями, которая является системой, минимизирующей энергию. А Конохен представил научному сообществу модель ИНС, способной на самообучение и решающей задачи кластеризации, визуализации данных и предварительного анализа.
В 1986 Дэвид И. Румельхарт, Дж. Е. Хинтон и Рональд Дж. Вильямсом независимо и одновременно с С. И. Барцевым и В. А. Охониным вновь открыли и модернизировали метод обратного распространения ошибки. После этого события начался удивительный рост общественности к теме искусственного интеллекта, а научное сообщество разглядело потенциал в искусственных нейронных сетях.