5.3. Модель Эстеса

Существуют другие модели типа "стимул—восприятие", применимые к более сложным экспериментам, которые, однако, служат дальнейшим развитием опытов, обсуждавшихся нами выше. В частности, проводя эксперименты в T-образном коридоре или опыты с прогнозированием зажигания электрических ламп, можно рассмотреть случаи, когда поощрение правильной реакции R происходит не постоянно. Например, можно поощрять ответ R лишь в определенной части опытов или в одной части опытов поощрять ответ R, а в другой — ответ L. На практике долю тех или иных поощрений можно определять вероятностным путем с помощью устройства со случайным механизмом и, конечно, получаемые вероятности, если экспериментатор желает быть уж совсем хитрым, могут зависеть от ответов испытуемых.

Рассмотрим теперь модификацию модели "стимул — восприятие" бинарного типа применительно к ситуации, когда имеет место вероятностный выбор поощрения, или подкрепления. Пусть в простейшем случае ответ R подкрепляется с вероятностью р, а ответ L - с вероятностью 1 — р независимо от реакции испытуемого. Так, в опытах с прогнозом зажигания электроламп, мы проводим подкрепление, зажигая правую лампу с вероятностью р, а левую- с вероятностью 1 - р.

В ситуациях, когда используется T-образный коридор, подкрепление должно производиться более хитрым способом. Мы можем, например, оставлять пищу в одном ответвлении коридора и разрешать крысе, если она ее не нашла в выбранной ею части коридора, немедленно переходить в другое ответвление и получать свою порцию.

Здесь нельзя уже больше говорить о попытке "обучения" испытуемого некоторой определенной реакции, поэтому наши исходные предположения о порядке установления условных связей должны быть изменены. Вернемся снова к ситуации с одним стимулирующим элементом s и приведем новые модифицированные предположения о свойствах одноэлементной модели). Эти предположения ввел В.К. Эстес (W.K. Est'es) и именно поэтому мы будем называть эту модель обучения моделью Эстеса.

Принятые допущения одноэлементной модели Эстеса.

Состояние условных связей. До начала каждого опыта существует условная связь между стимулирующим элементом s и реакциями R или L. Предполагается, что до начала первого опыта выбор одной из этих условных связей определяется случайным образом.

Восприятие. В каждом опыте субъект воспринимает или не воспринимает стимулирующий элемент s. Он воспринимает его с вероятностью, равной 0, где О<0<1 (число в есть параметр модели).

Реакции. Реакциями субъекта в каждом опыте служат ответы R или L. Если в некотором опыте стимулирующий элемент s был воспринят и он находился в состоянии условной связи с реакцией R, то субъект дает ответ R. Аналогично, если при проведении опыта элемент s был воспринят, и он находился в состоянии условной связи с реакцией L, то субъект показывает ответ L. Если же стимулирующий элемент s не был воспринят, то субъект дает ответ R тогда и только тогда, когда между элементом s и реакцией R существует условная, связь. Таким образом, независимо от того, произошло или не произошло восприятие элемента s, субъект показывает ответ R тогда и только тогда, когда элемент s условно связан с реакцией R.

Подкрепление. Независимо от реакции испытуемого, экспериментатор подкрепляет ответ R с вероятностью р и ответ L с вероятностью 1 — р (число .р есть параметр модели).

Изменение условных связей. Состояние условных связей может измениться только в случае восприятия стимулирующего элемента. Если между стимулирующим элементом и некоторой реакцией существует условная связь и эта реакция подкрепляется, изменения состояния условных связей не происходит. Если воспринятый стимулирующий элемент условно связан с некоторой реакцией, а в опыте подкрепляется противоположная реакция, то состояние условных связей меняется с некоторой вероятностью с. Предполагается, что 0 < с ≤ 1 (число с есть второй параметр этой модели).

В отличие от модели бинарного типа в одноэлементной модели Эстеса не происходит выбора реакции. Ответ полностью определяется состоянием условных связей. Изменчивость в поведении субъекта вводится неопределенностью процесса восприятия и вероятностным характером изменения состояния условных связей. Процесс восприятия в этой модели существенно отличается от характера восприятия в бинарной модели. Здесь опускаются ситуации, когда ни один стимулирующий элемент не воспринимается или (в случае наличия многих стимулирующих элементов, который будет рассмотрен нами ниже), допускается возможность одновременного восприятия более чем одного стимулирующего элемента. Однако для простоты

Мы можем снова исследовать эту модель, построив некоторую цепь Маркова. Состояниями этой цепи будут 0 и 1 — число стимулирующих элементов, условно связанных с реакцией R. Предположим также для простоты, что с = 1. Тогда переходная матрица цепи Маркова имеет следующий вид:

Так как с = 1, то условные связи переходят из состояния 0 в состояние 1 тогда и только тогда, когда стимулирующий элемент s воспринят (что случается с вероятностью Ө ) и ответ R подкреплен (что происходит с вероятностью p). Дальнейшие рассуждения проводятся аналогичным образом. На рис. 12 показана схема вычисления ряда переходных вероятностей.

Рис. 12. Некоторые переходные вероятности для одноэлементной модели Эстеса при с – 1 предполагается, что реакция субъекта не зависит от восприятия. (В случае n стимулирующих элементов такая зависимость существует)

Если 0 < р < 1 и 0 .< Ө ≤ 1, то матрица Р является переходной матрицей регулярной цепи Маркова. Простые вычисления показывают, что ее стационарный вероятностный вектор w имеет вид w = (1 - р, р). Следовательно, при достаточно длительных опытах вероятность оказываться в состоянии 1 равна р. Отсюда вытекает, что вероятность показать ответ R равна вероятности р подкрепления реакции R. Выводы, получаемые на основе этой модели, состоят в следующем: в конечном счете субъект начинает давать ответ R с той же вероятностью, с какой экспериментатор подкрепляет реакцию R. Такое поведение испытуемого называют вероятностным выбором). Посмотрим, является ли такое поведение "оптимальным". Пусть, например, р = 3/4. Тогда, если вы даете ответ R с вероятностью 3/4, вероятность того, что он окажется верным равна 3/4 • 3/4 + 1/4 • 1/4 = 10/16 = 5/8.

Предположим теперь, что вы всегда отвечаете R. Тогда в 3/4 случаях этот ответ оказывается верным, что является несомненно лучшим показателем.

Итак, одноэлементная модель Эстеса прогнозирует неоптимальное поведение испытуемых. В тестовых экспериментах, предпринятых для проверки этого вывода, обнаружилось, что некоторые животные используют вероятностный выбор реакций (смешанную стратегию), другие его не применяют. Например, крысы им не пользуются, в то время как рыбы в экспериментах аналогичного типа применяют вероятностный выбор реакций. Люди иногда тоже используют вероятностный тип выбора, но они поступают так менее охотно, если предлагается денежное поощрение.

Для описания более общей модели, n-элементной модели Эстеса, положим, что имеются n стимулирующих элементов s_l , s₂, . . , s_n. До начала некоторого опыта каждый из элементов s_i условно связан с одной из реакций R или L. Подкрепление производится вероятностным образом, причем ответ R подкрепляется с вероятностью р, а ответ L — с вероятностью 1 — р. Введем теперь модифицированные правила восприятия, реакций и изменений условных связей.

Дополнительные допущения модели Эстеса с n элементами.

Восприятие. В каждом опыте любой из стимулирующих элементов воспринимается с вероятностью Ө, где 0 < Ө ≤ 1. Элементы воспринимаются независимо.

Реакции. Реакциями субъекта в каждом опыте являются ответы R или L. В каждом опыте субъект дает ответ R с вероятностью, равной доле стимулирующих элементов, которые условно связаны с реакцией R, среди всех воспринятых стимулирующих элементов. Так, если эта доля равна π, то предполагается, что субъект показывает реакцию R с вероятностью π. Если ни один из стимулов не был воспринят, то предполагается, что субъект дает ответ R с вероятностью, равной доле стимулирующих элементов, условно связанных с реакцией R, среди всех имеющихся стимулирующих элементов.

Изменение состояния условных связей. Если некоторый ответ подкрепляется в опыте с номером г, то все стимулирующие элементы, условно связанные с данным ответом до этого опыта, остаются условно связанными с ним и после проведения опыта. Состояния условных связей воспринятых стимулирующих элементов, которые условно связаны с реакциями, не получившими подкрепления в данном опыте, меняются с вероятностью с, где 0 < с ≤ 1; с вероятностью 1 - c эти состояния не изменяются.

Для иллюстрации процессов восприятия, реакции и изменения состояний условных связей рассмотрим случай n = 6. Пусть до начала опыта стимулирующие элементы s₁ , s₂ и s₃ условно связаны с реакцией L, а стимулирующие элементы s₄, s₅ и s₆ — с реакцией R. Предположим, что в опыте восприняты элементы s₁, s₂ и s₅. Это происходит с вероятностью Ө³ (1 – Ө)³ . Субъект показывает ответ R с вероятностью 1/3, ибо лишь один из трех воспринятых элементов условно связан с R. Если реакция R подкрепляется, то элемент s₅ остается условно связанным с ответом R (то же верно и для элементов s₄ и s₆ ибо они не были восприняты). Так как элемент s₃ не был воспринят, он остается условно связанным с реакцией L. Наконец, для элементов s₁ и s₂ появляется возможность установления условной связи с реакцией R. С вероятностью с они оба оказываются условно связанными с R, а с вероятностью 1 - с ни для одного из них такая связь не возникает.

Указанные выше предположения позволяют построить цепь Маркова с n + 1 состояниями, где i = 0, 1,. .., n — число стимулирующих элементов, условно связанных с реакцией R в некоторый момент времени.