книги из ГПНТБ / Бешелев, С. Д. Экспертные оценки

Таблица 11 Оценка относительной важности сценариев

При подготовке сценариев и экспертизы большое зна­ чение имеет тщательная отработка процедуры опроса специалистов, к описанию особенностей которой мы и переходим.

в среднем задает окружающим около 300 вопросов в день. И, что греха таить, очень часто мы, взрослые, отвечаем на эти вопросы по принципу «на любой вопрос — любой ответ». Если критически проанализировать наши ответы на некоторые вопросы, которые задают нам не только дети, то следует признаться, что нечто подобное бывает в случаях, когда приходитоя отвечать на нечетко сформу­ лированный или бессмысленный вопрос.

Иммануил Кант писал, что если вопрос сам по себе бессмыслен и требует бесполезных ответов, то кроме стыда для вопрошающего он имеет иногда еще тот недо­ статок, что побуждает неосмотрительного слушателя к не­ лепым ответам и создает смешное зрелище: один (по вы­ ражению древних) доит козла, а другой держит под ним решето 7 .

Так, знакомясь с материалами многих зарубежных опросов, можно убедиться, что, выполняя социальный

'"И. Кант. Сочинения, т. 3. M . , 1964, стр. 159.

НО

заказ правящих кругов, буря^уазные ученые зачастую организуют и направляют опросы таким образом, чтобы получить желательные и явно нереальные резуль­ таты.

Влияние характера и направленности процедуры опроса на получаемые результаты следует учитывать при организации экспертиз и разработке опросных листов (анкет), с помощью которых осуществляется сбор необхо­ димой информации.

Анкета в экспертных методах — это определенным, образом организованный набор вопросов, ответы на кото- < рые рассматриваются как информация о степени уверен-1 v

111

3)вопрос, требующий оценить численное значение или вероятность какой-либо величины;

4)вопрос, цель которого замаскирована относительно измеряемой качественной переменной. Измерение за­

ключается в системе оценок, производимых аналитиками в зависимости от ответов, данных экспертами.

Опрос может проводиться заочно, когда личный кон­ такт аналитиков с экспертами отсутствует, либо очно, когда заполнение анкеты осуществляется при личной беседе с экспертом. . Преимуществами заочного опроса является его относительная простота и дешевизна; однако здесь возможны случаи неправильного заполнения анкет. При личной беседе этот недостаток исключается, но тре­ буются значительные затраты труда и времени. Кроме того, аналитик, проводящий личный опрос, может созна­ тельно или бессознательно влиять на ответы эксперта.

При заполнении анкет определенную роль играет порядок постановки вопросов и их фразеологическая формулировка. Вопросы не должны допускать двойного толкования или стремления заставить эксперта выразить свое мнение в области, где он недостаточно компетентен. Мера конкретизации вопросов должна учитывать реаль­ ную возможность эксперта дать правильный ответ. Излишняя конкретизация создает иллюзию точности, тогда как в самом деле она подготавливает почву для по­ лучения заведомо неверных ответов. ^Установлено, что

.сначала лучше тр_ебовать ответ на наиболее сложные и общие вопросы, а затем постепенно переходить к более пр_рстым ичастным. При этом не следует формулировать вопросы так, чтобы обеспечить ответы, гарантирующие «единодушие» экспертов.

Набор вопросов в анкете должен нметь логическую связь, однако эксперт может менять некоторые из них, если они не учитывают все важные, с его точки зрения, критерии. Кроме ясности и точности вопросов требуется, чтобы каждый из них «работал» на выяснение всей про­ блемы в целом.

В ряде методик экспертных оценок предусматривается проведение нескольких туров опроса. Это позволяет экспертам «взвесить» свои суждения с учетом ответов и доводов коллег и дополнительной информации, которая не была учтена в предыдущем туре. Выяснение причин, пусть даже недостаточно обоснованных, но послуживших

112

переведены аналитиками в количественную форму путем присвоения каждой из них определенного балла.

Ответы экспертов, получаемые в результате опроса,

форму.

Внимательный анализ аргументов, выдвинутых экспер­ тами, позволяет избежать двух постоянно грозящих аналитикам крайностей: излишнего доверия к индивиду­ альным суждениям авторитетов, с одной стороны, и слепого следования за обезличенным статистическим боль­ шинством — с другой.

В зависимости от специфики рассматриваемой области подход к суждениям должен изменяться. Так, при ана­ лизе н^р^пектив развития фундаментальных наук наи­ больший вес бy_g^^^шJ;Z^я^^RY^ЦP^Ш~-• суждения кдупных^ученых, и, наоборот, при^аналпзе программ разработок и раз_витая__прои_зво.дства особое внимание сле­ дует уделять - преобладающим взглядам_специалистов и администраторов.

Одним пз интересных подходов к опросу и обобщению оценок, данных экспертами, является метод Дельфы, получивший свое название от города Дельфы и дельфий­ ских мудрецов, о которых мы упоминали вначале. Цель метода — составление тщательно скорректированной про­ граммы последовательных индивидуальных опросов, на­ правленной на уменьшение группового влияния, воз­ никающего при совместной работе специалистов °.

Основные принципы, положенные в основу метода Дельфы, заключаются в обеспечении анонимности опроса путем исключения непосредственного взаимодействия экспертов; при этом управляемая обратная связь уста­ навливается в виде сообщения обработанной информации о согласованной точке зрения экспертов на предыдущих этапах опроса. Обратная связь, регулируемая аналити­ ками, позволяет выявить преобладающие суждения спе­ циалистов и сблизить их точки зрения на проблему. Вместе с тем метод не имеет целью достижение полного единства мнений, так как учитывается, что, несмотря

» т . Gordon, О. Helmer. Report on a Long-Range Forecasting Study. Re­ port P-2982. The RAND Corp., Sept. 1964.

114

на сближение точек зрения, различие будет существовать и в конце опроса.

Полагают, что благодаря письменной форме опроса экспертов снижается влияние таких факторов, как вну­ шение или приспособление к мнению большинства.'

Опрос производится в несколько туров. Во время каждого тура эксперты должны сообщить свое мнение и дать оценку ряда величин, например указать сроки свершения некоторых событий (изобретений, открытий, технических достижений), которые должны, по их мне­ нию, осуществиться в течение прогнозируемого периода.

После очередного тура опроса производится обработка информации, полученной от экспертов. При этом за пока­ затель группового мнения принимается медиана, а за показатель согласованности мнений — диапазон кварти­ лей, которые хорошо характеризуют совокупность полу­ ченной информации.

Предположим, что от экспертов • получено какое-либо число оценок исследуемой величины, например 11. Прежде всего эти оценки нужно расположить в порядке их убы­ вания. Затем необходимо найти медиану. В нашем при­ мере с 11 оценками она будет совпадать, как показано на рис. 8, с оценкой Na. Далее нужно установить значения верхнего и нижнего квартилей Q1 и Q2. Медиана и квар­ тили на оси ряда образуют четыре интервала, среди кото­

ния суждений и сообщить свое мнение по поводу совер­ шенства постановки вопросов. С их обоснованиями и вы­ водами, не указывая от кого они получены, знакомят остальных экспертов.

Подобная процедура позволяет специалистам изменить в случае необходимости свою оценку, принимая в расчет обстоятельства, которые они могли случайно упустить

8* 115

Методы упорядочения

.Идея включения вероятностных оценок в расчеты ставит перед принимающим решение ряд трудностей. Прежде всего ясно, что оперировать «твердыми» оценками зна­ чительно легче и вообще определенность и конкретность в любом деле всегда приятней, чем неопределениость. Некоторое облегчение в таких случаях оказывает раз­ работка моделей, помогающих пренебречь малозначащими факторами и оперировать лишь теми, которые измеряются или являются наиболее «ощутимыми». Однако не исклю­ чено, что, упрощая действительность, мы можем «вы­ плеснуть из корыта вместе с водой и ребенка».

В ряде случаев стремятся к определенности только потому, что не знают, как учесть при принятии решения возможный риск. Иногда «быть определенным» заставляют причины чисто психологического порядка: решительность и твердость всегда считались положительными качествами человека. Но как( бы там ни было, игнорировать неопре­ деленность нельзя, и мы вынуждены ее учитывать при подготовке прогнозов и разработке долгосрочных планов.

Как мы отмечали, в экспертных методах вероятностная математическая модель формируется на основе оценок, характеризующих предполагаемое распределение иско­ мой величины. Принимается, что, с точки зрения эк­ сперта, распределение представляет собой непрерывную функцию, характер которой можно установить, применяя специальные критерии. Часто определить характер функ­ ции не удается, что затрудняет использование вероятност­ ных методов.

В таких случаях пытаются оценить информацию, ко­ торая по тем или дным причинам не поддается непосред­ ственному измерению, с помощью методов, отражающих

117

предпочтения экспертов. Предполагается, что эксперт обладает определенной оистемой предпочтений, если он в состоянии сравнить возможные варианты или факторы, приписав каждому из них число.

В зависимости от того, по какой шкале могут быть заданы эти предпочтения, экспертные оценки содержат больший или меньший объем информации. Чаще всего экспертные оценки качественных и трудноизмеримых признаков воспринимаются как измеренные по порядко­ вой шкале, и для их математической обработки приме­ няются методы упорядочения.

Использование порядковых шкал позволяет различать объекты и тогда, когда мы не знаем признаков сравнения.

Методы упорядочения могут быть применены в сле­ дующих случаях.

1. Когда из общего числа альтернатив или каких-либо характерных признаков (факторов) необходимо выделить наиболее важные.

В практике выбора альтернатив нередко случается, что одна из них превосходит другие по одному из пока­ зателей, в то время как другая лучше остальных по ка­ кому-то другому показателю. Бывает, что эти показатели качественно различны или их нельзя соизмерить. В таких случаях выбирается какой-либо один (или несколько) важный или значимый показатель, на основе которого и производится выбор наиболее предпочтительной альтер­ нативы.

2. Когда нужно сравнить некоторые количественные факторы, точные измерения которых связаны со значи­ тельными трудностями.

Некоторые трудности такого рода мы уже называли. Кроме этого, в практической деятельности иногда воз­ никает необходимость давать на сложные вопросы не-1 медленный ответ, для точного обоснования которого по­ требуется много времени, а возможно, и значительные затраты ресурсов. Упорядочение альтернатив или факто­ ров при решении сложных задач может служить способом, позволяющим в короткие сроки получить приближенный ответ.

3. Когда необходимо оценить какие-либо качествен­ ные факторы, которые нельзя точно измерить, но можно сопоставить степень обладания каждого из них этим качеством.

118

Подобные случаи мы неоднократно упоминали. В по­ вседневной жизни мы часто оцениваем такие факторы с помощью слов: «лучше», «ценнее», «полезнее», «краси­ вее», «талантливее» и т. д.

Наиболее распространенными методами упорядочения альтернатив (факторов) являются: 1) ранжирование; 2) не­ посредственная оценка; 3) последовательное сравнение и 4) парное сравнение.

Ранжирование — процедура установления относитель­ ной значимости (предпочтительности) исследуемых объек­ тов на основе их упорядочения. Ранг — это показатель, характеризующий порядковое место оцениваемого объекта или явления в группе других объектов (явлений), обла­ дающих существенными для оценки свойствами.. Обычно наиболее предпочтительному объекту присваивается пер­ вый ранг, а наименее предпочтительному — послед­ ний.

Точность и надежность ранжирования в значительной степени зависят от количества объектов. В принципе чем таких объектов меньше, тем выше их «различимость» с точки зрения эксперта и тем надежнее можно установить ранг объекта.

Итак, при ранжировании эксперт должен расположить объекты (факторы, альтернативы) в порядке, которыйпредставляется ему наиболее рациональным, и приписать каждому из них числа натурального ряда: 1, 2, 3 и т. д.

Следовательно, порядковая шкала, получаемая в ре­ зультате ранжирования, должна удовлетворять условию равенства числа рангов числу ранжированных объек­ тов.

Бывает так, что эксперт не в состоянии указать поря­ док следования двух или нескольких объектов, либо ои разным.объектам присваивает один и тот же ранг, и в ре­ зультате число рангов N оказывается не равным числу ранжируемых объектов п. В таких случаях объектам при­ писываются так называемые стандартизированные ранги. С этой целью полагают общее число рангов равным п, а объектам, имеющим одинаковые ранги, присваивается стандартизированный ранг, значение которого представ­ ляет среднее суммы мест, поделенных между собой объек­ тами с одинаковыми рангами.

119