5.2. Одноэлементная бинарная модель обучения
Перед тем как ввести другую модель обучения, отличную от линейной, напомним содержание знаменитых экспериментов Павлова с собаками. В нормальных условиях собаки выделяют слюну, когда им показывают пищу. Будем говорить, что некоторая пища является стимулом, или раздражителем, если, будучи воспринята собакой, она вызывает у нее реакцию слюноотделения. (Воспринята в психологическом смысле, собака воспринимает стимул "пища" зрением или обонянием, но не пробует ее!) В нашей повседневной жизни мы воспринимаем многие раздражители (стимулы) из нашего внешнего окружения и часто на некоторые из них реагируем. Такими раздражителями служат например, свет, запахи, звуки и т.п. На некоторые раздражители, существующие в нашем окружении, мы не обращаем внимание. Так, например, пытаясь углубиться в чтение, мы иногда игнорируем все посторонние звуки. В своих экспериментах с собакой Павлов сумел путем многократного повторения опытов заменить стимул (раздражитель) "пища" другим стимулом — "звонок", который вызывал, как правило, ту же реакцию - слюноотделение. Будем говорить в этом случае, что новый стимул (раздражитель) стал условно связанным с реакцией "слюноотделение", т.е. что между стимулом и реакцией существует условная связь.
Модель обучения, которую мы сейчас рассмотрим в качестве альтернативы линейной модели, ввел Г.Х.Бауэр (G.H.Bower)- это модель "стимул - восприятие" (раздражитель - восприятие) типа "все или ничего" и ее называют вслед за Бауэром бинарной (или релейной) моделью.
Рассматривается некоторый субъект, воспринимающий стимулы (раздражители) и устанавливающий условные связи между стимулами (раздражителями) и реакциями (ответами), которым он пытается обучиться. В большинстве моделей "стимул - восприятие" предполагается, что процесс обучения состоит из ряда этапов, показанных на рис. 11.
Рис. 11. Этапы обучения
Предполагается, что до начала данного опыта существуют условные связи между стимулами и реакциями. Затем некоторые или, может быть, все доступные стимулы воспринимаются субъектом. Он выбирает свой ответ на основе воспринятых им стимулов и имеющихся у него представлений о состоянии условных связей стимулов и реакций. Например, если собака восприняла звучание колокольчика и этот звонок у нее условно связан с реакцией слюноотделения, она начинает выделять слюну. Затем экспериментатор производит поощрение или, как иногда говорят, подкрепление. В итоге условные связи воспринятых стимулов могут измениться, т.е. может произойти перестройка структуры условных связей стимулов и реакций. Так, если звонок колокольчика до начала опыта еще не был условно связан с реакцией выделения слюны, то такая связь может установиться, если собака поощряется пищей после звонка колокольчика. После перестройки условных связей возвращаемся в исходную ситуацию, и все готово для нового опыта. Для формального описания модели типа " стимул — восприятие" необходимо сделать определенные предположения относительно различных этапов процесса обучения.
В случае простейшей модели бинарного типа — одноэлементной бинарной модели — будем постулировать существование единственного гипотетического стимула или, что одно и то же, единственного гипотетического стимулирующего элемента s. Мы называем элемент s "гипотетическим", ибо не будем пытаться его идентифицировать с каким-либо определенным объектом внешнего окружения, исключая, может быть, сигнал к началу опыта.
Сделаем сейчас следующие предположения о свойствах отдельных этапов процесса обучения.
Принятые допущения одноэлементной бинарной модели.
Состояние условных связей. Перед каждым опытом (испытанием) условная связь между стимулирующим элементом s и правильной реакцией (ответом) может существовать или отсутствовать. До начала первого опыта — опыта номер 0 — условная связь между s и R отсутствует.
Восприятие. В каждом из проводимых опытов (испытаний) субъект воспринимает стимулирующий элемент s.
Реакции. Реакциями субъекта в каждом опыте являются R или L. Если существует условная связь между s и реакцией R, то субъект указывает ответ R, т.е. реагирует правильным образом. Если между стимулом s и реакцией R нет условной связи, то он выбирает R с некоторой вероятностью g (число g есть параметр модели).
Подкрепление. Экспериментатор всегда поощряет ответ R и никогда не поощряет ответ L.
Изменение условных связей. Если между стимулом s и реакцией R до начала опыта существовала условная связь, то эта связь остается после его завершения. Если между s и R не было условной связи, то она к концу опыта возникает с некоторой вероятностью с, не зависящей от номера опыта, вида реакции и т.п. Предполагается, что 0 < с < 1 (число с — второй параметр модели).
Построив бинарную модель, можно делать различные прогнозы относительно процесса обучения. Их использование требует оценки значений параметров g и с. Параметр g можно оценить, наблюдая за частотой ошибок в первом опыте, допускаемых большим числом испытуемых. (При этом предполагается, что вероятность g не меняется от субъекта к субъекту.) Далее покажем, как использовать полученное значение g для оценки величины вероятности с.
Ряд простейших выводов можно сделать, построив цепь Маркова. Будем говорить, что имеет место состояние 1, если существует условная связь и состояние 0 в противном случае. До начала некоторого опыта имеется определенное состояние условных связей. Переходная матрица Р имеет вид
Так как с > 0, то это переходная матрица поглощающей цепи Маркова с одним поглощающим состоянием (состояние 1). Такое состояние соответствует ситуации, когда условная связь между стимулом и правильной реакцией существует.
Согласно теории марковских цепей можно предсказать, что с вероятностью 1 будет иметь место поглощение. Таким образом, модель прогнозирует, что "обучающийся" субъект обязательно выработает условную связь между стимулом и правильной реакцией, другими словами, он "научится" давать верные ответы. Заметим, что эта модель существенно отличается от линейной модели, где делается вывод о невозможности завершения обучения. (Здесь относительно процесса обучения делается бинарное утверждение типа "все или ничего").
Среднее число опытов, необходимое для полного обучения, можно вычислить, определив фундаментальную матрицу N. Здесь
|
Q = (1 - с), I - Q = (с), N = (I - Q )-1 = (1/с). |
(5) |
Следовательно, среднее число опытов, необходимое для полного обучения в предположении, что в начальный момент времени мы находимся в состоянии 0 (условные связи отсутствуют), равно 1/с. Например, если с = 1/4, то в среднем для обучения понадобится 4 опыта, т.е. мы надеемся после опыта 3 перейти в состояние 1 (напомним, что опыты нумеруются числами 0, 1, 2, ...). Если с = 1/8, то ожидаемое среднее число опытов до полного обучения равно 8. Можно также определить ожидаемое среднее число "ошибок" до обучения, оказывающееся равным (1/с) (1 - g), ибо 1/с - среднее число опытов, необходимое для обучения, а (1 - g) — вероятность ошибки при отсутствии условных связей. (После установления условных связей ошибки не совершаются.) Если значение g известно, его можно использовать для получения оценки с, наблюдая за средним числом А ошибок, совершаемых до бучения в большом числе экспериментов. Тогда, положив А = (1/с) (1 - g), получим, что с = (1 -g)/A. Таким путем можно, определив оценку с на основе экспериментальных данных о поведении некоторого субъекта, использовать ее для прогнозирования поведения других субъектов. Указанный подход предполагает, что значения с и g не меняются от субъекта к субъекту.)
Для сравнения данной модели с линейной моделью необходимо вычислить qt — вероятность неправильной реакции в t-м опыте. Нетрудно понять, что для бинарной модели имеем
|
qt = (l - c)t (1 - g), |
(6) |
ибо (1 - с)t есть вероятность оказаться в состоянии 0 после t—1 опытов.
Таким образом,
|
pt = 1 - (l - c)t (l - g). |
(7) |
Это выражение для вероятности pt определяет тот же тип кривой обучения, что и в линейной модели, ибо уравнение (7) можно привести к виду (4), положив α = 1 -с и q0 = 1 -g.
Чтобы получить выводы, отличные от результатов, следуемых из линейной модели и одноэлементной бинарной модели, рассмотрим условную вероятность того, что испытуемый ошибется, если в предыдущем опыте он уже совершил ошибку.
В линейной модели вероятность ошибки зависит лишь от номера испытания и, следовательно, вероятность rt получения ошибки в опыте t при условии, что ошибка совершена в опыте t - 1 равна
|
rt = qt = αt q0, |
(8) |
причем вероятность rt убывает с возрастанием t. В бинарной модели ошибка, сделанная в (t - 1)-м опыте означает, что испытуемый субъект до этого опыта был в состоянии 0. Поэтому вероятность rt совершения ошибки в опыте номер t равна
|
r t = (1 – c) (1 – q) |
(9) |
Это вероятность того, что после (t — 1)-го опыта условная связь не была установлена и в опыте t была совершена ошибка. Из выражения для вероятности r t следует, что она не зависит от t. Работая с большим числом субъектов и наблюдая за количеством последовательных ошибок, совершаемых испытуемыми при возрастании t, можно сравнить обе модели и выбрать ту, которая более соответствует опытным данным. Бауэр (Bower [1961]) проводил эксперименты, несколько отличавшиеся от только что рассмотренных, и при этом исследовал 20 различных следствий, которые можно вывести из описанных нами выше двух моделей. В экспериментах Бауэра испытуемому субъекту показывали десять "объектов", представляющих собой каждый пару согласных букв, и он должен был научиться правильно относить эти объекты к целым числам 1 или 2. Для пяти объектов число 1 было "правильным" ответом, для остальных верным ответом было число 2. Обучение на i-м объекте рассматривалось как один эксперимент, но Бауэр показывал одновременно различные объекты, проводя в действительности сразу десять экспериментов. Объект i в опыте номер t показывался испытуемому в t + 1-й раз. После каждого показа и ответа испытуемого, Бауэр сообщал ему правильный ответ. Согласно результатам экспериментов Бауэра данные опытов больше соответствовали бинарной модели в 18 из 20 случаев сравнения моделей.
Итоги опытов других экспериментаторов менее благоприятны для простой одноэлементной бинарной модели, хотя в опытах, аналогичных экспериментам Бауэра, получаемые результаты обычно говорят в пользу бинарной модели. Однако именно эксперименты, давшие малоблагоприятные результаты для одноэлементной бинарной модели привели к расширению и специализации типов моделей обучения. Ниже мы рассмотрим ряд новых моделей, начав с обобщения бинарной модели.