14.5. Будущее глубокого обучения 569
всех полезных программ,.очень.похожее.на.непрерывное.многообразие..Это.означает,.что.модель.глубокого.обучения,.обученная.на.результатах.миллионов. успешных.попыток.генерации.программ,.может.выработать.надежное.интуитивное представление .о.пути в пространстве программ,.по.которому.должен. идти.процесс.поиска,.чтобы.перейти.от.требований.к.соответствующей.про- грамме,.—.точно.так.же.инженер-программист.может.сразу.интуитивно.понять. общую.архитектуру.сценария,.который.он.собирается.написать,.и.представить. перечень.промежуточных.функций.и.классов,.которые.нужно.использовать. в.качестве.ступенек.на.пути.к.цели.
Помните,.что.человеческое.мышление.в.значительной.мере.руководствуется. ценностно-центрической.абстракцией,.то.есть.распознаванием.образов.и.интуи- цией..То.же.относится.и.к.синтезу..Я.ожидаю,.что.подход.на.основе.обобщенного. управления.поиском.программы.с.помощью.выявленной.эвристики.будет.вы- зывать.повышенный.интерес.исследователей.в.течение.следующих.10–20.лет.
14.5.3. Непрерывное обучение и повторное использование модульных подпрограмм
Когда.модели.станут.сложнее.и.будут.основаны.на.более.насыщенных.алгоритмических.примитивах,.эта.повышенная.сложность.потребует.увеличить.степень. повторного.использования.результатов.прежних.решений.вместо.обучения. новых.моделей.с.нуля.каждый.раз,.когда.возникает.новая.задача.или.новый. набор.данных..Многие.наборы.данных.содержат.недостаточно.информации,. чтобы.мы.могли.приступить.к.созданию.новых,.сложных.моделей.с.нуля,.и.поэтому.необходимо.будет.использовать.информацию.из.прежних.наборов.данных. (представьте,.что.вам.пришлось.бы.изучать.русский.язык.с.нуля.всякий.раз,. когда.вы.открываете.новую.книгу,.—.это.было.бы.просто.невозможно)..Обучение. моделей.с.нуля.для.каждой.новой.задачи.неэффективно.также.из-за.большого. перекрытия.между.текущими.задачами.и.прежними.
В.последние.годы.неоднократно.отмечалось.интересное.наблюдение:.обучение. одной и той же.модели.для.решения.мало.связанных.между.собою.задач.дает. в.результате.модель,.которая.лучше подходит для каждой задачи..Например,.обучение.одной.и.той.же.нейронной.модели.машинного.перевода.с.английского.на. немецкий.и.с.французского.на.итальянский.дает.в.результате.модель,.которая. лучше.подходит.для.каждой.пары.языков..Аналогично.одновременное.обучение. модели.классификации.и.сегментации.изображений.с.использованием.одной. и.той.же.сверточной.основы.дает.в.результате.модель,.которая.лучше.решает. обе.задачи..Это.вполне.объяснимо:.в.малосвязанных.задачах.всегда.какая-то часть.информации.является.общей,.в.результате.объединенная.модель.получает. доступ.к.большему.объему.информации.о.каждой.отдельной.задаче,.нежели. модель,.обучаемая.для.решения.какой-то.конкретной.задачи.
14.5.Будущее глубокого обучения 571
14.5.4.Долгосрочная перспектива
Вот.какой.я.вижу.долгосрочную.перспективу.машинного.обучения.
.Модели.будут.больше.похожи.на.программы.и.будут.обладать.возможностями,.выходящими.далеко.за.рамки.непрерывных.геометрических.преобразований.входных.данных,.которые.мы.используем.в.настоящее.время.. Эти.программы,.вероятно,.будут.ближе.к.абстрактным.ментальным.моделям,. которые.люди.выстраивают.в.своем.сознании,.и.будут.способны.к.более.широкому.обобщению.благодаря.богатой.алгоритмической.природе.
.Модели.будут.сочетать.алгоритмические модули,.реализующие.возможность. формальных.рассуждений,.поиск.и.средства.абстрагирования,.с.геометрическими модулями,.обеспечивающими.неформальное.знание.и.распознавание. шаблонов..Это.позволит.достичь.сочетания.ценностно-центрической.и.про- граммно-центрической.абстракций..AlphaGo.или.искусственный.автопилот. (системы,.для.создания.которых.потребовалось.программное.обеспечение,. созданное.вручную,.и.множество.решений,.принятых.людьми).являют.собой. ранний.пример.того,.как.может.выглядеть.подобное.сочетание.символического.и.геометрического.ИИ.
.Такие.модели.будут.создаваться.автоматически,.без.участия.людей-инжене- ров,.с.использованием.модульных.компонентов,.хранящихся.в.глобальной. библиотеке.подпрограмм.многократного.пользования.—.библиотеке,.нака- пливающей.высококачественные.модели,.обученные.ранее.на.тысячах.задач. и.наборов.данных..Часто.встречающиеся.шаблоны.решений.задач.будут. идентифицироваться.системой.метаобучения,.превращаться.в.подпрограммы. многократного.пользования.—.подобно.функциям.и.классам.в.разработке. программного.обеспечения.—.и.добавляться.в.глобальную.библиотеку.
.Процесс.поиска.возможных.комбинаций.подпрограмм.для.создания.новых.моделей.будет.дискретным.процессом.поиска.(синтезом.программы),. но.управляться.он.будет.некоторой.формой.интуиции в программном пространстве,.обеспечиваемой.глубоким.обучением.
.Упомянутая.выше.глобальная.библиотека.и.связанная.с.ней.система.моделей. смогут.достичь.уровня.экстремального обобщения,.сопоставимого.с.человеческим:.для.новой.задачи.или.ситуации.система.сможет.сконструировать. новую.работающую.модель,.использовав.очень.небольшой.объем.данных,. благодаря.широте.программных.примитивов,.поддерживающих.обобщение,. и.обширному.опыту.решения.похожих.задач..Точно.так.же.люди.быстро. осваивают.новую.сложную.видеоигру,.опираясь.на.прежний.опыт.в.других. видеоиграх,.а.не.основываются.на.простом.отображении.стимулов.в.действия..
Так.происходит.потому,.что.модели,.сформированные.на.базе.предыдущего. опыта,.являются.абстрактными.и.похожими.на.программы.
.Такую.непрерывно.развивающуюся.систему.моделей.можно.рассматривать. как.общий искусственный интеллект.(Artificial.General.Intelligence,.AGI)..