342 Дональд кэмпбелл

образования или экономики, подбор методов остается, по-видимому, тем

же. У экономистов есть выражение, которым они обозначают данную

проблему, - <ошибка в переменных>, или, точнее, <ошибка в незави-

симых переменных>. Но, учитывая эту проблему в теории, они так

привыкли считать свои индикаторы, по существу, свободными от

ошибки, что на практике ее игнорируют. Они забывают, что

нерелевантные систематические компоненты дисперсии создают ту же

проблему, что и случайная ошибка, ведущая к такой же погрешности

недостаточной коррекции. Отметим, что наличие ошибки и единичная

дисперсия имеют систематический эффект, то есть служат скорее

источником погрешности, чем источником нестабильности оценок. Этот

факт также игнорируется экономистами и другими исследователями.

Таким образом, усилия, направленные на то, чтобы внести поправку на

отличия, имевшие место до воздействия, с помощью <регрессионных

коррекций> средних, либо путем <отделения> отличий, установленных

при предварительном тестировании, либо путем ковариационных

коррекций, приводят к недостаточной коррекции, если только

показатели предварительного тестирования (или другие сопутству-

ющие переменные) не являются совершенными мерами того, что

оказывается общим для показателей предварительного и итогового

тестирований. Хорошо известно, что старая методика использования

только тех случаев, для которых имеются соответствия показателей,

выявленных в предварительном и итоговом тестировании, порождает

<регрессионные артефакты> (ТЬогпАке [90]; СатрЬеП, 81ап1еу [26]).

Ковариация дает ту же погрешность, ту же степень недостаточной

коррекции, но более прецезионную (1-,ога [64, 65]; Рог1ег [71];

СатрЬеП, Ег1еЬасЬег [23]), и точно так же обстоит дело со

множественной регрессией и частной корреляцией (см., например, СооЬ,

СатрЬеП [32]). В сущности, та же проблема возникает в исследова-

ниях ех роа1 гас1о, где хотя и не бывает предварительного тестирования,

но коррекции поддаются другие сопутствующие переменные. Широко

распространенный вариант данной проблемы имеет место в случае,

когда некоторые лица подвергаются какому-то воздействию, а наряду с

ними имеется обширная популяция лиц, не подвергающихся этому воз-

действию, из которых составляется <контрольная> группа для сравнения.

343

В практике США стало крайне важно различать два вида

ситуаций, в которых используется этот тип квазиэкспериментального

плана и эти типы коррекции, так как недостаточная коррекция в этих

ситуациях имеет противоположный социальный смысл. С одной

стороны, имеются специальные программы, обеспечивающие благопри-

ятные возможности - вроде университетского образования, -

пр дназначеннме для тех, кто менее нуждается, или, согласно более

распространенной формулировке, кто больше всех их заслуживает, или

для тех, кто скорее, чем другие, сумеет извлечь из них какую-то пользу.

Будем называть их <дистрибутивными> программами в отличие от

<компенсаторных> программ, то есть от тех, в которых благоприятные

возможности предоставляются тем, кто более всего в них нуждается.

В случае регрессивных программ группа, выбранная для

воздействия, будет, как правило, превосходить контрольную группу или

ту популяцию, из которой выбираются квазиэкспериментальные

контрольные группы. В этих условиях неизбежная недостаточная

коррекция, вызванная единичной дисперсией и ошибкой в показателях

предварительного тестирования и/или другой сопутствующей

переменной (<регрессионные артефакты>), способствует тому, чтобы

воздействие казалось эффективным, тогда как на самом деле оно не

имеет смысла и ведет к преувеличению его эффективности во всех

случаях. Многим из нас такая ошибка кажется вполне простительной,

поскольку она укрепляет нашу веру в воздействия, в пользе которых мы

убеждены всей душой. (Это может показаться удивительным, но

американская телевизионная образовательная программа для

дошкольников <Зеаагпе 81гее1> является <дистрибутивной> в том

смысле, что ее больше смотрят дети более образованных родителей)

(СооЬ е1. а1. [31]).

В компенсаторных программах контрольные группы обычно,

хотя и не всегда, вначале превосходят те группы, которые подвергаются

воздействию, либо подбираются из какой-нибудь более обширной

популяции, в среднем превосходящей обследуемую. В этих условиях

погрешности недостаточной коррекции, регрессионные артефакты, ведут

к недооценке эффективности программы и к тому, что наши

программы кажутся вредными, в то время как они попросту

344

Дональд КЭМПБЕЛЛ

бесполезны. Такие условия для квазиэкспериментальных исследо-

ваний имеют место в наших важнейших работах по оцениванию

компенсаторных образовательных программ, известных под названи-

ями <Неас! 8[агЬ>, <РоПоуу ТИтоиИ>, <Реггогтапсе Сотгасипв;>, <]оЬ

Согра> и др. Можно считать это почти определенно установленным

для значительных нежелательных эффектов, обнаруживаемых при

оценивании короткой трехмесячной программы <Неас! 81аг1>, на

которую отводится 10 часов в неделю (СюгеШ [29]; СатрЬеИ,

ЕНеЬасЬег [23]). Я убежден, что преобладание этих квазиэкспери-

ментальных условий и процедур коррекции является одним из главных

источников пессимистических отчетов о результатах подобных

компенсаторных образовательных программ. Те весьма немногочис-

ленные исследования в сфере компенсаторного образования, которые

обходят эту проблему путем случайного распределения детей по

экспериментальным и контрольным группам, дают более оптимис-

тические результаты.

В области компенсаторного образования имеется еще ряд

проблем, способствующих тому, чтобы в квазиэкспериментальных

исследованиях программа выглядела как вредная. Они включают

тесты, которые слишком сложны, дифференциальные показатели

развития в сочетании с возрастными, эквивалентными школьной

оценке, абсолютными, или необработанными, показателями, а также тот

факт, что надежность теста выше для итоговых проверок, чем для

предварительного тестирования, а надежность оценок контрольной

группы превышает надежность оценок экспериментальной группы

(СатрЬеИ [19]). Эти обстоятельства требуют коренного пересмотра

нашей практики тестовых оценок. Когда к одной популяции в каком-

то единичном частном случае применяются разные модели оценивания,

все процедуры оценивания так сильно коррелируют между собой, что

можно с тем же успехом воспользоваться наипростейшей из них. Но

когда две группы, с самого начала отличающиеся друг от друга, в

период ускоренного развития подвергаются тестированию в два

разных срока, наша обычная практика оценивания дает видимое

увеличение разрыва, если, как это обычно бывает, повышается

надежность теста. Использование коррекции для предсказаний

345

становится крайне важным. Следует отказаться от общепринятой

модели, основывающейся на допущении, что <истинная оценка> и

<ошибка> не зависят друг от друга, и заменить ее моделью, которая при

сравнении индивидуальных результатов выявляет отрицательную

корреляцию между ошибкой и истинной оценкой: чем более значим

компонент ошибки, тем менее значим компонент истинной оценки.

Проблемы, связанные с рандомизированными экспериментами.

Достойным внимания примером хорошего социального эксперимента в

США является <Эксперимент с негативным подоходным налогом> в

Нью-Джерси (или Программа <НПН>) },

В этом эксперименте исследуется вопрос о гарантированном

годовом доходе как альтернативе к действующим в США в

настоящее время системам социального обеспечения. Своим

наименованием он обязан тому, что, если доходы падают ниже

некоторого заданного уровня, налог должен становиться негативным,

иными словами, государство должно выплачивать какую-то сумму

гражданам вместо того, чтобы взимать ее с них. Кроме того,

предполагается изменить и процедуры налогообложения. В этом

эксперименте 600 семей, где главой семьи является работающий

мужчина, получали денежные пособия, благодаря которым их доход

достигал некоторой суммы, от 3000 до 4000 долларов в год, на семью

из четырех человек, эта сумма варьировалась в согласии с одним из

восьми планов, причем каждый план предусматривал определенный

уровень материальной помощи, а также стимулирование участников

увеличивать свои собственные доходы. Другие 600 семейств не

получали дополнительных доходов, но один раз в квартал у них брали

интервью. Эксперимент продолжался три года, и сейчас уже имеются

предварительные данные о его результатах. Я хотел бы использовать

опыт этого социального эксперимента для того, чтобы осветить

методологические проблемы, которые должны быть решены в более

совершенных социальных экспериментах. В этом плане мои

\ <Эксперимент с негативным подоходным налогом> (<Ме\у е5еу г1еа11уе

1псогпе Тах Ехрептеп!>) описан в ряде работ: ЩаПэ, Кееэ [92]; КегэЬау/ [56, 57,

58]: см. также: 5ос1а1 Ехрптеп1а1юп: А те(Ьо(1 (ог р1аптп апй еуа1иаип 5ос1а1

т(егуепНоп. Ес1. Ьу Н. \У. К1ескеп апй К. Р. ВогисЬ. N. V., Асайепис Ргеэв, 1974. -

Прим. ред.

346 Дональд КЭМПБЕЛЛ

комментарии кажутся по преимуществу критическими. Однако мое

общее отношение к этому эксперименту одобрительное. Я рассмат-

риваю его как наиболее значительный пример практического

использования прикладной социальной науки.

Основной результат этого эксперимента состоит в том, что

гарантированный доход не ослабляет эффективных усилий неимущих

людей в сфере труда. Этот итог, если его признать, опровергает главный

аргумент, выдвигаемый против такой программы, поскольку, если

исходить из одного только объема затрат, она должна обходиться

дешевле, чем нынешняя система социального обеспечения, по крайней

мере, если она не побуждает многих ныне работающих людей оставить

свою работу. В методологическом плане основная критика этого

исследования связана с сомнением по поводу правдоподобия

утверждений, что этот <лабораторный> результат имел бы место и

после того, как данная программа вспомоществований стала в США

обычной, постоянной политикой. Это вопросы <внешней валидности>

(СатрЬеП, 81ап1еу [26]) или <конструктной валидности>, если

использовать термин, первоначально разработанный для теории

измерения Куком (СооЬ, СатрЬеП [32]). Особенно примечательны

два критических замечания. Одно состоит в том, что предполагается,

что имел место <эффект Хоуторна> или <эффект морской свинки> 1.

Семьи, участвовавшие в эксперименте, знали, что они являются

избранными участниками мероприятия, проводимого с особой целью, и

находятся в центре всеобщего внимания. Поэтому они и вели себя как

подобает <хорошим> людям, трудолюбивым и респектабельным, что и

привело к полученным результатам. Такая мотивация отсутствовала

бы, если бы программа была общей для всех. Можно предположить,

что этот момент усугублялся двумя обстоятельствами, сопутство-

вавшими реализации данной программы. Эксперимент с самого начала

получил широкую известность и рекламу, включая телевизионные

Имеются в виду неоднократно описанные в социальной психологии

хоуторнские эксперименты и в психологии <эффекты морской свинки>, то есть

влияние самого факта проведения эксперимента, внимания к испытуемым и

наблюдения за ними на их поведение в результате исследования. О хоуторнских

экспериментах см., например, 0Шонесси Дж. Принципы организации

управления фирмой. М., 1979, с. 137-140. - Прим. ред.

347

интервью с выбранными испытуемыми, и случайная выборка

производилась по семьям, а не по жилым кварталам, так что каждая

семья, участвовавшая в эксперименте, была окружена столь же

неимущими соседями, на которых программа помощи не распространя-

лась. Второе общее критическое замечание, особенно со стороны

экономистов, можно было бы обозначить как эффект ограничения

вреуени. Участникам эксперимента предлагалась материальная

помощь ровно на три года. Им объяснили, что эксперимент ограничен

этим периодом. В этих условиях предусмотрительные участники

должны были держаться за свою работу, разве что они могли получить

другую, получше, так что они должны были быть готовы вернуться к

своим обычным финансовым трудностям.

Следует отметить, что эти две проблемы ни в коей мере не

составляют специфику рандомизированных экспериментов и, более того,

должны быть характерны для наиболее поверхностных пилотажных

программ. Их можно избежать, лишь оценивая принятие такой

программы в качестве общенациональной стратегии. Такое оценива-

ние должно было бы быть по идее квазиэкспериментальным, как при

применении временных серий, и, по-видимому, предполагать сравнение с

несколькими канадскими городами. Такие оценки должны быть более

успешными в плане внешней и конструктной валидности и менее - в

плане внутренней валидности. Специфика наших национальных

установок заставляет, однако, усомниться в том, что это квазиэкспери-

ментальное оценивание будет проведено как следует, если только оно

вообще будет проведено: уж раз мы избираем какую-то стратегию, мы

теряем интерес к ее оценке. Если бы программа привела к снижению

трудовых усилий, принятие ее в качестве стратегии в масштабах

страны было бы крайне маловероятным. Уже поэтому стоило бы

проводить ее оценку, и проводить хорошо.

Детали этого эксперимента указывают на ряд проблем, касаю-

щихся метода, которые нуждаются в пристальном внимании со

стороны творчески мыслящих статистиков и социальных психологов.

Мы здесь лишь отметим их, более подробно они рассматриваются в

других работах (К1ескеп е( а1. [73]). Вопрос о единице, подлежащей

рандомизации, уже поднимался ранее. Часто существует возможность