146 Дональд кэмпбелл

который не оказывал бы влияния процесс выбывания, группа, выб-

ранная для предварительного тестирования, может быть подвергнута

повторному тестированию (как в плане 12в, где различие 0\ - 0

следует подтвердить путем сравнения показателей 0\ - 0). Так

было построено исследование Дункана и сотрудников [31], посвя-

щенное влиянию вводного курса психологии на преодоление

ошибочных взглядов. (В этом плане эксперимента наличие группы,

прошедшей оба тестирования, не обеспечивает возможности анализа

приращений зависимой переменной по отдельным испытуемым ввиду

отсутствия контрольной группы для учета влияния регрессии).

Для экспериментов данного типа характерно то, что они переносят

лабораторные методы в полевые условия, на которые исследователь

хочет распространить свои выводы, испытывая действие Х в

естественной обстановке. Вообще говоря, как показано в табл. 1 и 2,

планы 12, 12а, 12б и 12в по обеспечению внешней валидности или

возможностям обобщения результатов могут превосходить планы 4, 5, 6

<истинных> экспериментов. Они предъявляют к респондентам так

мало требований в отношении сотрудничества, пребывания в

определенное время в определенном месте и т. д., что можно

формировать репрезентативные выборки из заранее определенных

популяций.

Планы 12 и 13 (и, конечно, некоторые варианты планов 4 и 6, в

которых Х и О осуществляются в условиях индивидуального контакта

с обследуемыми) действительно обеспечивают возможность пользо-

ваться репрезентативными выборками. Плюсы в колонке <взаимо-

действие состава групп и X> весьма относительны и могли бы,

справедливости ради, быть заменены вопросительными знаками,

поскольку, как правило, респонденты выбираются не по теоретическим

соображениям, а по признаку готовности участвовать и доступности, что

нередко делает их нетипичными представителями генеральной сово-

купности, на которую предполагается распространить результаты. Но

величина смещения, обусловленного составлением групп по признаку

доступности испытуемых, намного меньше, чем в планах экспериментов,

предъявляющих к ним более высокие требования, так что на этом фоне

плюс представляется оправданным.

147

13. План с контрольными выборками

для предварительного

и итогового тестирования

Предполагается, что план 12 может быть использован в условиях,

когда Х (если он вообще имеет место) предъявляется всей группе в

целгм. При наличии сравнимых (или даже эквивалентных) групп, в

которых Х не вводится, можно в плане 12 добавить контрольную

группу, получив тем самым план 13:

КО Х

к хо

к~о

к о.

Этот план сходен с планом 10, если не считать того, что

предварительное и итоговое тестирование проводится на разных лицах,

благодаря чему исключается возможное взаимодействие тестирования

и X. Как и для плана 10, в этом случае существует опасность (что и

является недостатком плана в отношении внутренней валидности)

принять за эффект Х частную тенденцию, характерную для данной

экспериментальной группы и фактически не связанную с воздей-

ствием. Этот источник невалидности можно устранить, увеличивая

число вовлеченных в исследование социальных единиц (школ, городов,

предприятий и т. д.) и предписывая им посредством рандомизации

экспериментальный или контрольный режим. Это позволяет получить

план истинного эксперимента, подобного плану 4, с тем, однако,

исключением, что здесь мы избегаем повторного тестирования одних и

тех же испытуемых. Такой план можно обозначить как план 13а. Его

схематическое представление (см. табл. 3) усложняется двумя уров-

нями эквивалентности (достигаемой путем рандомизации). На уровне

испытуемых внутри каждой социальной единицы существует экви-

валентность отдельных выборок, используемых для предварительного и

итогового тестирования (что отмечено пунктом рандомизации - К).

Между отдельными социальными единицами, которые подвергаются

одному из этих воздействий, такой эквивалентности нет, на что

148 Дональд КЭМПБЕЛЛ

Таблица 3

Источники невалидности для квазиэкспериментальных

планов 13 - 16

Источники невалидности

внутреннейвнешней

>-

и Фф 0.>< Х | Х

Ї " Ц 1 1

с 5е!Ш 1

R 0. ш0- " я >.

х к ё 2хХ (0 -

1 1 II и х Х0) 0 -0 ф

<2 в я) - ?1-033

1 1 110) о 8, (В

(о со ч а

1 е х д ё " Ї"и и с и >х >х и .х

в2эЕ"-1"аф 0 Х о

Р 8 в 3 |1

о ё | 1 | | | ||0Фоха.исоаиЯ 3 ? 2 х х х

Квазиэксперы-ментальные

п/13. Пюны лая с(продолжение) контрольными +++++++ -+ + +

вьгборками для пред-

варитем>ного и итого-

вого тестирования

1К 0 (X)

1К Х 0

1К 0

1К 0

13а.(К 0 (X) +++++++++ + +

К Х 0

1КК 0 (X)

К Х 0

К 0 (X)

,К Х 0

(К. 0

К 0

К~К~ 0" " " "

К 0

К 0

К 0

149

ГПродолжение.

Источники невалидмости

внутреннейвнешней

? IЧ

" я0 0.X X Х

ё |11111

1

3 -о.

Ф Я Ч

ф 0- ш ,и т ><

Х ОС я -1 3И Б з а)

Я 3 и " ? и 3 2

Ф ф Ф

" о. д х т

I П , 111|ф ф Х ф

е ь 8 в з | 9 з

х ЙР-Д 11 Їеё|18|в-фпхо.итши2 3 ? 3X X X

14. Множественные серии -1-++++-1-+ +- - )

замеров

000Х000

000 000

15. Рекуррентный инсти-

туциональный цикл

(<лоскутные> планы)

Класс А Х 0]

Класс Й1 КС>2 ХОз

Класс В К Х 04

Класс С Оз Х

Контр, гр. для кл. В Об 1

Контр, гр. для кл. С 0-] \

Ог < 0\ \ +-++?-?т ? +

С>5 < С>4 !

Ог < Оз ---??++- ? +

Ог < 04 --+??+?+ ? ?

Об-07 1

02у-02о! +

16. План, в котором наруше- +++?++? ++ - + +

ние непрерывности регрес-

сии выступает как признак

экспер. эффекта

Контрольная группа для класса В (соответственно С), взятая \из генеральной

совокупности.

150 Дональд КЭМПБЕЛЛ

указывают пунктирные линии, К обозначает уравнивание эксперимен-

тальной и контрольной групп путем рандомизированного распреде-

ления этих многочисленных социальных единиц по двум режимам.

Как видно из табл. 3, план 13а оказывается безукоризненным в

отношении как внутренней, так и внешней валидности (последнее уже

обсуждалось при анализе плана 12), причем здесь благодаря наличию

многочисленных социальных единиц (в отличие от использования

только одной из них) добавляется контроль взаимодействия между

факторами состава групп и X. Насколько известно, эта отличная, но

требующая больших затрат схема эксперимента еще не была

реализована.

14. План с множественными сериями измерений

При изучении эффектов крупной административной перестройки

по данным серии измерений исследователь поступит правильно,

отыскав аналогичное учреждение, не подвергшееся X, и взяв оттуда

данные для <контрольной> серии (в идеале учреждение, подверга-

ющееся X, должно быть выбрано наугад):

0000Х0000

0000 0000

Этот план включает план 10, то есть план с неэквивалентной

контрольной группой (X в окружении О), по сравнению с которой он

выигрывает в достоверности интерпретации благодаря использованию

многочисленных измерений, причем экспериментальный эффект как бы

демонстрируется дважды - один раз на фоне контрольных данных, а

другой - в сравнении со значениями до Х внутри той же самой серии

данных, как в плане 7. Кроме того, взаимодействие фактора состава

групп с естественным развитием контролируется постольку, поскольку

при большей общей скорости изменения зависимой переменной в

экспериментальной группе это должно проявиться также в О,

предшествующих X. В табл. 2 и 3 этот добавочный выигрыш

представлен слабо. Он нашел отражение лишь в последней колонке

внутренней валидности - <взаимодействие состава групп с естест-

151

венным развитием>. Поскольку естественное развитие контролируется

как в экспериментальной, так и в контрольной серии, то по

соображениям, приведенным выше при обсуждении серии перио-

дических измерений (план 7), различие в составе групп, подвергаясь

влиянияю со стороны факторов естественного развития, инстру-

ментальной погрешности или регрессии, вряд ли может дать заметный

эффект. Однако взаимодействие фактора состава групп с фоном

может сказываться на результатах.

Как для плана 7, поставлен минус в колонке внешней валиднос-

ти - <взаимодействие тестирования и X>, хотя, как и план 7, данный

план используется преимущественно в условиях, когда тестирование не

вызывает такого эффекта. Табл. 3 показывает также, что надо

учитывать возможность того, что полученный эффект Х может

оказаться особенностью исследуемой популяции. Что касается

проверки значимости эффекта, то предлагается анализировать различия

между результатами соответственных измерений в экспериментальной

и контрольной группах, как данные, полученные по плану 7. Эти

различия более вероятно могут оказаться линейными, чем данные

исходных временных рядов.

В общем, это отличный квазиэксперимент - пожалуй, лучший из

наиболее доступных. Как видно из сделанных выше замечаний и из

обсуждения плана 10, он обладает явными преимуществами перед

экспериментами типа 7 и 10. Доступность повторных измерений делает

его особенно пригодным для исследовательской работы в школе.

15. Рекуррентный институциональный цикл -

<лоскутный> план

План 15 является примером стратегии полевого исследования,

при котором, начав с неадекватного плана, затем добавляют к нему

специфические меры контроля того или иного рекуррентного источ-

ника невалидности. Результатом часто оказывается неуклюжее

нагромождение проверок, которое - хотя ему и недостает внутренней

симметрии истинных экспериментов - все же приближается к

экспериментальному исследованию. Приняв эту стратегию, экспе-

152 Дональд КЭМПБЕЛЛ

риментатор должен быть начеку относительно конкурентных

интерпретаций (отличных от констатации эффекта X), от которых план

не застрахован, и искать такие способы анализа или обобщения данных,

которые исключали бы подобные интерпретации. Другая черта, часто

присущая данному плану, состоит в выявлении эффекта Х несколькими

различными способами. Это очень важно, когда каждое отдельное

сравнение результатов само по себе не позволяет сделать однозначного

вывода.

Такой <лоскутный> план, о котором идет речь, применим лишь к

ограниченному кругу проблем и условий и должен строиться исходя из

особенностей этих условий. Основная его идея становится яснее при

рассмотрении третьей и четвертой граф табл. 1. Как легко заметить,

ряды стоящих там плюсов и минусов для плана 2 и 3 по большей

части дополняют друг друга, а удачное сочетание этих двух

неполноценных планов может оказаться весьма эффективным. Данный

план применим в тех случаях, когда определенный аспект институ-

ционального процесса циклически реализуется каждый раз для новой

группы респондентов, как это имеет место, скажем, в школе, в системе

воспитания, обучения ремеслу и т. д. Если в этих условиях интерес

представляет оценка результатов такого всеобъемлющего и сложного

воздействия, как общая программа обучения и социализации, то план 15

является, видимо, наилучшим из всех пока разработанных.

Этот план был впервые концептуально разработан примени-

тельно к изучению влияния командирской и летной подготовки

курсантов военно-воздушной школы (в ходе 14-месячного учебного

цикла) на их социальные установки в отношении начальников и

подчиненных и на функции лидерства в группе (СатрЬе11, МсСогтас

[16]). Проведение истинного эксперимента затруднялось отсутствием

контроля над тем, кто будет подвергнут экспериментальному воздей-

ствию, а кто - нет. Действительно, как разделить принятых курсантов

на две уравненные группы, одна из которых прошла бы годичную

программу обучения, а другая - отправлена <на гражданку>? Даже

если бы такой эксперимент и удалось поставить (непредвиденные

сокращения бюджета сделали бы в отдельных случаях возможным

проведение такого опыта), то все равно из тех, кто был принят, прошел

153

отсев, доставлен на авиабазу, а затем отправлен домой, вряд ли

получилась бы идеальная контрольная группа ввиду реакции

испытуемых на эксперимент и нарушения ритма их жизни. Различие

между ними и экспериментальной группой, проходящей подготовку,

вряд ли могло бы служить хорошей основой для распространения

результатов на нормальные условия набора и обучения курсантов.

Эксг.ериментатор, однако, мог выбирать, когда и на ком производить

наблюдения. Это, а также тот факт, что экспериментальная переменная

носила рекуррентный (циклический) характер, то есть оказывала

воздействие каждый раз на новую группу респондентов, обеспечивало

какую-то степень контроля параметров эксперимента. В этом

исследовании можно было проводить два типа сравнений, относив-

шихся к влиянию опыта военной службы на социальные установки.

Каждое из них было совершенно неадекватно в плане эксперимен-

тального контроля, но если оба они свидетельствовали об одном и том

же, они взаимно подкрепляли друг друга, ибо их слабые места

оказывались различными. Сравнения первого типа производились по

результатам, полученным в одно и то же время на группах,

отличавшихся сроком службы, а сравнения второго типа - внутри

каждой группы между показателями первой недели и после 13 месяцев

обучения. В идеализированной форме эта схема выглядит так:

Класс А Х О]

Класс В ~~ ~6 "X ~ Ь5

В этой схеме объединены <лонгитюдинальный> подход и

<сравнительное изучение поэтапных срезов> - процедуры, обычно

используемые в исследованиях развития. При этом предполагается,

что одновременно измерения могут производиться на группе, уже

подвергшейся X, и на группе, которая вскоре должна подвергнуться X.

Сравнение данных О] и 0, следовательно, отвечает плану 3 (сравнение

статических групп). Повторные измерения в классе В спустя один

цикл позволяют воспроизвести план 2. В табл. 3 первые две строки,

относящиеся к плану 15, показывают особенности этих сравнений.

Результат сравнения в поперечном срезе, О] > 0, нельзя отнести за

счет фоновой стимуляции или эффекта повторного тестирования.