350 Дональд кэмпбелл

испытуемых экспериментальной группы, отказам, и могло бы оказаться,

что данный прием повышения сопоставимости групп в конечном счете

производит обратное действие. Так что имеются веские аргументы и

за, и против. Эта проблема нуждается в дальнейшем обсуждении и

исследовании.

Отсев, и в частности дифференциальный отсев, испытуемых

становится центральной проблемой, для разработки которой необхо-

димы исследования изобретательных статистиков. В программе

<НПН> величина отсева за трехлетний период колебалась от 25,3% в

контрольной группе до всего лишь 6,5% в той из экспериментальных

групп, которая получала наибольшее вознаграждение. Эти различия

достаточно велики, чтобы привести к пседоэффектам в оценках при

итоговом тестировании. Наличие данных предварительного тестиро-

вания дает нам некоторую информацию о направлении смещения,

однако ковариация, вычисленная на основе полученных оценок,

недостаточно установлена и не может, таким образом, служить

адекватной коррекцией. Необходимо разработать методы исключения

максимальных и минимальных смещений при разного рода специфи-

ческих допущениях. Там, где имеется система периодических

обследований широкого охвата, которая все еще включает людей,

отказавшихся от дальнейшего участия в данном эксперименте,

существуют другие альтернативы, ждущие своей разработки.

Такие системы измерения, соответствующие программе <НПН>,

могли бы включать данные Управления социального обеспечения о

доходах, подлежащих налогообложению на нужды социального

обеспечения, об обращениях за пособием по безработице, данные

финансового управления об удержании налогов, сведения о предостав-

лении больничных услуг и т. д. Такие данные время от времени

используются в исследованиях по оценке эффективности (см.,

например: [.еуепзоп, МсОШ [62]; Вашпап, Оау1а, МШег [4]; ПвсЬег

[40]; Не11ег [52]), однако возможности для осуществления такой

деятельности не получили соответствующего развития, и может

показаться, что идея подобного использования данных идет вразрез с

существующим сегодня в США требованием сохранения конфиден-

циальности в отношении административных данных (см., например:

351

КеиЬЬаизеп, Впт [78]; Заууег, 8сЬесЬ1ег [79]; СовПп [47]; М;11ег

[67]; УУев1т [98]; УУЬее1ег [99]). Поскольку открытый доступ

исследователя к административным документам мог бы дать столь

ценную возможность снизить стоимость контроля за нововведениями,

связанными с программами, в настоящей работе стоило бы обсудить и

этот вопрос.

Существует один способ статистического соотношения данных

исследования и административных данных без предания гласности

конфиденциальной информации об индивидах (8сг1\уаг1г, ОНеапв [80];

СатрЬеИ, ВогисЬ, 8сЬ>аг1г, 81епЬег8 [22]; ВогисЬ, СатрЬеИ [10]).

Обозначим этот способ как <взаимно изолированный обмен докумен-

тами>. Он требует, чтобы последовательный ряд административных

документов заключал в себе возможность внутреннего статистического

анализа содержащихся в нем данных. Не вдаваясь в детали 1, я попы-

тался бы тем не менее передать суть этой идеи. На рис. 4 приводятся

данные гипотетического эксперимента с участием одной экспери-

ментальной и одной контрольной группы. В этих условиях мы

располагаем достаточным числом случаев, чтобы их можно было

подвергнуть дальнейшему дроблению на социально-экономическом

уровне. На основе этих данных подготовлено 26 списков, включающих

от 8 до 14 человек. Каждому списку случайным образом присваивается

какое-нибудь обозначение (в данном случае буквы от Л до 2,), которое

не содержит никакой информации, если рассматривать администра-

тивный документ. В списке указывается имя человека, его номер в

картотеке бюро социального обеспечения и, возможно, дата и место

рождения. Списки отсылаются затем в административную картотеку,

где из каждого списка исключают в случайном порядке какое-то лицо,

восстанавливают желаемые данные по документам каждого из

оставшихся (для кого они доступны) и вычисляют среднее, дисперсию

и число случаев по наличным данным для каждого списка и каждой

переменной. Затем эти данные с соответствующим обозначением по

Методологические положения и процедуры такого исследования приводятся

в работе: СатрЬеИ О. Т.,ВогисЬ К. Р., с Ь \У а г I г К. О.. 5 I е I п Ь е г 1

СопП(1еп(1аН1у-рге5етп тойев о( ивеЫ ассехз (о Шез апй (о ш1егП1е ехсЬапе (ог

ивеЫ з(аН511са1 апа1у5;5. - Еуа1иа1юп ОиатегЬ/, 1977, уо1. 1, № 2, р. 269-300.

352 Дональд КЭМПБЕЛЛ

СЕ

п=8п= 12

НРКи

п=8п= 10п= 10п-10

V03КМN

п=12п=10п=10п=10п= 10п=14

1 234567

Социально-экономический статус: экспериментальная группа

00

п=10п=10

.)РVI

п= 10п=10п=10п=10

В\.2А\Л/СТ

п=8п= 10п= 10п= 10п=10п= 10п=10

1234567

Социально-экономический статус: контрольная группа

Рис.4. Гипотетические данные двух групп, участвующих в эксперименте.

По социально-экономическому статусу они разбиты на подгруппы и

обозначены символами от А до 2..

каждому списку возвращаются исследователям, оценивающим

эффективность программы. Они заново составляют статистически

осмысленные сочетания, а затем вычисляют для экспериментальных и

контрольных групп средние, дисперсии, корреляции, зависимости от

социально-экономического уровня и т. д. Таким образом, ни

исследовательская, ни административная документации не обогатились

за счет друг друга никакими сведениями индивидуального порядка об

участниках обследования, и в то же время эффективность программы

может быть оценена статистически.

353

Что же касается проблемы отсева в рандомизированных

экспериментах, то тут мы нуждаемся не только в новых статистических

методах, но и в социально-психологических усовершенствованиях.

В долгосрочных экспериментах, подобных исследованию Икеды,

Иингера и Лейкока [53], в котором университет каждое лето работал с

12-летними детьми из непривилегированных слоев, пытаясь стимули-

роватэ и направить их учебу в старших классах (с 14 до 18 лет), чтобы

они были готовы к поступлению в университет, высокая дифференци-

рованность может вызываться наряду с прочим двумя причинами. От

испытуемых экспериментальной группы (с которыми имеется

постоянный контакт) легче получить домашний адрес, и они охотнее

отвечают на контрольные вопросы из чувства благодарности. Это

наводит на мысль, что испытуемым контрольной группы, занятой в

долгосрочном исследовании, следует оказывать какую-то полезную

услугу в течение длительного времени, меньшую, чем эксперимен-

тальной группе, но достаточную для того, чтобы побудить их ставить

работников, занятых проектом, в известность в случае перемены адреса

и не уклоняться от сопутствующих расспросов (Псеаа е1 а1. [53]). Если

признается, что сопоставимость экспериментальной и контрольной

групп важнее, чем полнота исследования, то вполне возможно, что

степень сопоставимости могла бы быть повышена путем намеренного

сведения данных экспериментальной группы к уровню контрольной.

В целях проверки этой возможности мы с Икедой и Ричардсоном в

ходе уже упоминавшегося эксперимента проводили дополнительное

обследование, используя адреса пятилетней давности, отдаленный и не

связанный якобы с программой исследовательский центр и вопросы, не

относящиеся конкретно к программе Икеды, Иингера и Лейкока.

(Я упоминаю здесь этот отнюдь не обнадеживающий пример, чтобы

выразить свое ощущение: мы нуждаемся в широком поиске возможных

решений данной проблемы.)

Очевидно, что в результате отказов и отсевов истинные экспе-

рименты имеют тенденцию превратиться в квазиэксперименты. Еще

хуже то, что, если мы начинаем с рандомизации, многие потенциальные

источники смещения причиняют больше хлопот тем, что они оказыва-

ются в центре нашего внимания. Я, однако, убежден, что, хотя такие