254 Дональд кэмпбелл

наглядные инструкции, полученные сотрудником, проводившим

тестирование, вербальные и наглядные разъяснения, которые этот

сотрудник давал детям, качественное понимание вопросов детьми

и т. д. В основе опознания детей, подвергшихся тестированию, как тех

же самых, которые принимали участие в предшествующих занятиях по

данной учебной программе, тоже лежит чье-то качественное знание.

Учебные инструкции в рамках этой программы излагались обыденным

языком, и если добросовестность их выполнения подвергалась проверке,

то это делалось посредством качественных наблюдений. Если

практиковались интервью с родителями, то беседа держалась на вере в

общность языка и мотивов. Регистрация реакций и кодирование

ответов на открытые вопросы получают количественную форму лишь

как конечный продукт какого-нибудь процесса качественных

суждений. Эти опоры обыденного знания в большинстве своем столь

распространены и надежны, что мы не обращаем на них внимания.

Однако я уверен, что на таком основании покоится все количественное

знание в социальных науках, равно как и в физических.

Это основание столь надежно, что мы оставляем его без внимания,

и тем не менее зависимость от качественного знания налицо даже тогда,

когда она ничем не оправдана. Критика качественной основы

необходима, и она, как выясняется, зависит от качественного знания,

полученного из более полного контекста. В настоящее время у нас

наблюдается в этом плане ненормальное разделение труда: с одной

стороны, ряд ученых в сфере социальных наук придерживаются

количественного подхода, они пользуются данными переписей,

сведениями о доходах и количественными показателями преступности,

забывая, что эти данные основываются на качественных суждениях.

С другой стороны, есть социологи, придерживающиеся качественного

подхода, они занимаются критикой способов, которыми получены эти

цифры, анализируя, например, социальную динамику интервью,

проводимого при переписи, различное понимание явлений разными

участниками программ, страхи и давление, скрывающиеся за ответами, и,

поскольку при этом вырабатывается скептицизм, отказываются

принимать участие в проведении количественных анализов.

255

Особенно решительная критика содержится в литературе,

появляющейся в области квантифицированных административных

отчетов. Ее суть можно уловить уже по следующим заголовкам:

<"Хорошие" организационные основания для "плохих" клинических

отчетов> (Сагппке! [42]); <Заметки о применениях официальной

статистики> (Квизе, Скоиге! [55]); <Фальсификация полицейских

отчетов о преступности и политическое давление> [8е1атап, Соигепа

[85]; <План Никсона по борьбе с преступностью подрывает

статистику преступлений> (Могпваеу [65]); <Занижение квалифика-

ции преступлений, обнаруженное в Балтиморе> (ТУУ [92]). (См.

также Весег [4, 5]; Ооиаа [35]; ВесЬ [3]; В1аи [8]; Е1гюш, ЬеЬтап

[37]; К;а8еау [78].)

Подобные же исследования необходимы в связи с тестированием

успехов. Если верить множеству различных анекдотов, вычислительные

машины слишком часто с бесстрастной серьезностью обрабатывают не

представляющие ценности данные, полученные от детей, либо

проводивших массовые бойкоты обследований, либо саботировавших

процесс тестирования, либо обращавших свои ответы в шутку.

Получили распространение анекдоты о подобных же происшествиях,

связанных с вопросниками, шкалами по исследованию установок и

интервью (У1а1сЬ, Вепзтап [93]). Мы нуждаемся в том, чтобы такая

критика была увязана с количественными исследованиями.

В настоящее время некоторая связь между этими двумя подходами

хотя и намечается, но недостаточна. Известная интеграция этих

данных нужна по крайней мере в методологии полевого эксперимен-

тирования, куда она входит под рубриками <угрозы валидности> или

<правдоподобные конкурентные гипотезы> (см., например, СатрЬеП,

81ап1еу [26], СооЬ, СатрЬеИ [34] 1). Качественное рассмотрение раз-

личных контекстов измерения часто приводит к гипотезам, согласно

которым различия между данными предварительного и итогового

тестирования или между экспериментальной и контрольной группами

проистекают из различного понимания процесса измерения респон-

См. перевод этих работ в данной книге, а также: \УеЬЬ Е. ,1., С а т р Ь е 11 О. Т.,

с Ь V/ а г 1 г К. О., 8 е с Ь г е з 1 I-. ипоЫш51уе теаэигез: МопгеасИуе КезеагсЬ т

(Не 5ос1а1 5с1епсе. СЫсао, Капс! МсМаПу, 1968. - Прим. ред.

256 Дональд КЭМПБЕЛЛ

дентом и исследователем, а не из изменений свойства, на отображение

которого рассчитана данная мера. Некоторые из этих конкурентных

гипотез могут быть исключены путем использования формальных

свойств плана эксперимента, однако многие из них должны оставаться

качественными даже в самом доскональном отчете - в том, что

касается способа создания конкурентной гипотезы, выявления других

свидетельств в пользу валидности этой гипотезы и общего суждения

относительно ее правдоподобия. Там, где дело касается измерений

социальных взаимодействий, это составляет проблему, по крайней мере

столь же значительную для рандомизированных <истинных>

экспериментов, как и для квазиэкспериментов.

Для многих работ по оценке эффективности экспериментальных

(особенно квазиэкспериментальных) программ угрозу валидности

содержат многочисленные события, не относящиеся к эксперимен-

тальной программе, которые могли вызвать наблюдаемые изменения.

Выявление этих конкретных альтернативных объяснений и оценка их

правдоподобия являются делом обыденного знания и требуют

детального знакомства с конкретными локальными условиями.

Хотя эти правила относительно использования качественного

знания ясно сформулированы в пособиях по количественным методам,

они редко применяются. Исследователь склонен полагать, что открыто

говорить о таких вещах - значит ставить под угрозу видимость научной

достоверности или что слабость в этих вопросах свидетельствует о его

собственной некомпетентности. Оборонительная позиция полевого

экспериментатора в отношении своих коллег - лабораторных

исследователей ведет к дальнейшему пренебрежению этой стороной

проблемы, тем более если такой исследователь зарабатывает себе на

жизнь, работая по контракту в сфере оценивания программ.

В текущих работах по количественной оценке программ

качественное знание обычно представлено в описательной истории

программы, а также в описании ее содержания, в количественных мерах

и средствах сбора данных и в вербальном обобщении ее итогов. Иначе

числовые данные не поддавались бы интерпретации. И все же такое

качественное содержание часто представляет собой запоздалое

незапланированное размышление.

257

В этом докладе о роли качественного знания в количественном

оценивании программ действия уже содержались указания на

настоятельную необходимость эксплицитного признания этой роли.

Ниже эта тема получит дальнейшее развитие. Нам придется также -

хотим мы того или нет - учитывать и соображения, возникающие при

качественном оценивании программ в отсутствие количественных мер.

Пре.-лде чем мы приступим к этому, неплохо было бы, по-видимому,

остановиться на типах качественного знания, которые уже существуют

или могли бы быть предложены.

Типы качественного оценивания

Племена, правительства и добровольные объединения на

протяжении веков учреждали новые программы, которые затем

приостанавливались, поддерживались или распространялись. С точки

зрения социальной эволюции (СатрЬеИ [15]), такие судьбы программ

являются оцениваниями и процессы принятия решений, определяющие

судьбу программы, составляют механизмы оценивания. Некоторые из

этих механизмов связаны с выживанием организации - своего рода

социально-эволюционным естественным отбором. Но гораздо чаще

эти решения - и, конечно, заимствование решений - включают в себя

людские суждения, которые представляют ценности, необходимые для

потенциального выживания. Эти процессы замещающих суждений,

вероятно, имеют ценность, приближающуюся к адаптивной, так как они

сами являются продуктами биологического и социального естест-

венного отбора.

Сырьем для таких оценок служит накопленный опыт участников,

преобразованный в институциональное решение посредством

некоторого формального или неформального политического процесса.

Опыт, накопленный участником, следует трактовать как наиболее

примитивное и распространенное качественное знание, имеющее

отношение к оцениванию программ. Поскольку память о прошлом

непрерывно модифицируется под влиянием наличного контекста и

более позднего опыта, особое значение приобретает зарегистрирован-

ный опыт участников - например, посредством записей и учета