книги из ГПНТБ / Бешелев, С. Д. Экспертные оценки

1 Р. Акоф, М. Сасиени. Основы исследования операций. М., 1971, стр. 40.

100

не будет основана лишь на математических построениях. «Окончательный выбор. . . осуществляется и будет осу­ ществляться на основе суждений ученых и специалистов. Другого пути нет и никогда не будет. Вопрос заключается лишь в том, основаны ли эти суждения на разноречивых и несистематизированных данных, неясных и неустано­ вленных результатах или на базе адекватной сопостави­ мой информации и ясно очерченных результатах» 2 .

Оценки, используемые в экспертизах, можно разделить на две группы: абсолютные и относительные. Абсолют­ ные оценки в своих формулировках имеют такие термины, как «хороший» или «плохой». Этим оценкам могут быть приписаны смысловые формы «да» или «нет» и числовые

в основе которых лежат методы сравнения определенного набора объектов (альтернатив) по определенному пра­ вилу или критерию.

Хотя для представления оценок применяются числа, математические' операции, которые можно производить с помощью этих чисел, зависят от характера шкалы, используемой для оценки. Следует четко понимать раз­ личие между мерой и оценкой. Для оценок характерно наличие дополнительного источника ошибок, которого нет при непосредственных измерениях. Любая оценка возникает в результате стремления выразить в виде числа какое-то свойство исследуемого объекта. Естественно, что если бы истинное значение этого, свойства было бы известно, не требовалось бы иметь его оценку. С другой стороны, знание достоверности оценок в момент их опре­ деления требует знания «истинного значения» исследуе­ мого свойства. Кроме того, оценка всегда субъективна и, как мы уже отмечали, зависит от' особенностей и целей субъекта, ее производящего.

Современные методы использования экспертов обес­ печивают более полное взаимодействие специалистов раз­ ных профилей, улучшение их подбора и согласования их оценок.

Большое значение при этом придается процедуре, слу­ жащей для уменьшения психологического влияния причин.

7A . Enthoven. Choosing Strategies and Selecting Weapon System. U , S. Na­ val Institute Proceedings, 1964, vol . 90, N 1, p. 154.

101

снижающих эффективность экспертных решений, таких, как возникающие при совместной работе в комиссиях взаимное убеждение, влияние авторитетов и т. п. Пря­ мые дебаты обычно заменяются программами согласова­ ния индивидуальных мнений, учитывающими логические связи имеющейся статистической информации с оценками, полученными от экспертов. Исследуя причины возникно­ вения мнений, согласовывая и суммируя отдельные оценки, пытаются стимулировать экспертов учесть обстоятель­ ства, которые могли быть не приняты во внимание при первоначальном рассмотрении проблем.

Важным .этапом подготовки программ экспертной оценки является формирование группы^ специалистованалитиков, в обязанности которой входит:

— подбор специалистов, участвующих в экспертизе;

—составление специальных опросных листов (анкет);

—разработка способа и процедуры опроса экспертов;

—проведение опроса;

ной информации с целью подготовки оценок, необходимых для принятия решения.

Работа по подбору специалистов, участвующих в экс­ пертизе, обычно начинается с определения научных, тех­ нических и административных проблем, решение которых влияет на осуществление данной задачи. Затем состав­ ляется список компетентных в этих областях лиц, ко­ торый служит основой для выбора экспертов.

Установив число потенциально возможных кандида­ тов в эксперты, нужно решить вопрос о численности экспертной группы. Разумеется, здесь нельзя точно рас­ считать оптимум, однако ясно, что при малом числе экспертов на групповую оценку оказывает излишнее влияние оценка каждого из экспертов. В то же время при очень большом числе экспертов труднее выявить их согласованное мнение и может снизиться достоверность групповой оценки вследствие уменьшения роли «ерети­ ческих» мнений, отличающихся от мнения большинства, но далеко не всегда оказывающихся неправильными. Во всяком случае, количество экспертов зависит и от возможности обеспечения «равноправия» ученых и спе­ циалистов различных направлений, и от уровня их ком­ петентности.

102

Главное требование, предъявляемое к каждому эксперту, естественно, его компетентность в исследуемой области. Кроме того, нужно, чтобы он был также эруди­ рован в смежных областях, т. е. имел достаточно широкий кругозор. Иногда кандидатов в эксперты делят на уни­ версалистов и специалистов, но и в том, и в другом случае кандидаты в эксперты должны обладать аналитическим и трезвым умом,. хорошо чувствовать тенденции раз­ вития.

Можно, конечно, представить себе и «идеального» эксперта, основные качества которого:

. — креативность — способность решать творческие за­ дачи, метод решения которых полностью или частично неизвестен;

—эв^стичнрсть — способность видеть или создавать неочевидные проблемы;

—интуиция —• способность делать заключения об ис­

следуемом объекте без осознания пути движения мысли

кэтому заключению;

—предикаторность — способность предсказывать или предчувствовать будущие состояния исследуемого объекта;

с различных точек зрения и т. д.

Однако подобрать группу равноценных экспертов, обладающих всеми этими способностями, чрезвычайно трудно, да и методы оценки их пока еще несовершенны. Поэтому обычно в качестве критериев отбора экспертов пытаются использовать некоторые простые статистичес­

которых кандидаты в эксперты должны показать свою эрудицию и аналитические способности. Ответ на каждый из поставленных вопросов дается в короткое время (по­ рядка десяти минут); кроме того, делается «самооценка» своих, знаний в области заданного вопроса в виде числа. Подобные анкеты позволяют судить как о действительных знаниях эксперта, так и о его способности критически оценить собственные возможности.

Другим способом отбора наиболее компетентных экс­ пертов являются расчеты достоверности и точности их

103

ч оценок. Обосновывая возможность использования экс­ пертных методов, один из видных специалистов в этой области Олаф Хелмер отмечал: «Мы получаем информа­ цию о происходящих событиях при помощи разных при­ боров, иногда неточных, причем не отказываемся от этой информации, учитывая лишь степень ее точности и до­ стоверности; специалистов-экспертов тоже можно рас­ сматривать как своего рода «прибор», дающий информа­ цию о вероятности тех или иных предстоящих событий или гипотез, объясняющих происходящие события. Отка­ зываться от такой информации не следует. Следует лишь постараться определить степень точности и достоверности этой информации, подобно тому как это делается для других измерительных приборов» 3 .

Рассматривая эксперта как своеобразный «прибор», определяют достоверность (надежность) и точность его оценок по результатам прошлой деятельности. Для этого рассчитывают степень надежности эксперта, под которой понимается относительная частота случаев, когда эксперт приписал наибольшую вероятность гипотезам, впослед­ ствии оказавшимся верными, т.е. подтвердившимися. Расчет ведется по формуле

рл7 »

Е= 1Г>

где N0 — число случаев, в которых эксперт, встретившись с несколькими альтернативными гипотезами, приписал наибольшую вероятность той, которая подтвердилась; N — общее число случаев, когда эксперт производил оценку.

Однако учитывая, что эксперт обычно работает в кол­ лективе, вводится понятие об его относительной надеж­ ности. Относительная надежность рассчитывается по • формуле

где В. — степень надежности («абсолютная») данного экс­ перта; Rm — средняя степень надежности, исчисленная для некоторой группы экспертов.

s О. Helmer. The Systematic Use оГ Expert Judgement on Operation Research. Proceeding ol 3-th IFORS Conference. Oslo, 1963.

104

Очевидно, что чем меньше абсолютная надежность эксперта, тем меньшую «ценность» он представляет. При­ чем если абсолютная степень надежности меньше или равна единице, то желательно, чтобы относительная на­ дежность была больше или равна единице.

Для событий маловероятных (с вероятностью их на­ ступления, близкой к нулю) или для событий, весьма вероятных (с вероятностью, близкой к единице), степень надежности эксперта, естественно, будет более высокой, чем для событий (гипотез) с вероятностью, близкой к 0,5.

Для того чтобы учесть это, рассчитывается степень точности эксперта. Под степенью точности эксперта при вынесении им суяхдения о значении вероятности для некоторого события понимается степень соответствия его «персональной» оценки корректности того класса гипотез, которым он приписал эту вероятностную оценку.

Понятия надежности и точности, по оценке О. Хелмера, базируются на предположении, что существуеткласс задач, для которых эксперт подходит либо не под­ ходит. Однако репутация, осведомленности может воз­ никнуть не только на основании действительных, внут­ ренне присущих эксперту свойств, но и в результате слу­ чайного принятия в прошлом правильных решений, даже если вероятность таких решений была не больше «чистой» случайности, как, например, 0,5 для падения монеты той или иной стороной 4 .

Именно поэтому помимо расчетов надежности и точ­ ности экспертов необходимо уделять особое внимание ра­ боте по их подготовке.

Следует предоставить эксперту максимально возмож­ ное количество объективных данных, имеющих отношение к анализируемой проблеме, и стараться повысить ква­ лификацию экспертов посредством специального обуче­ ния и тренировок. Кроме того, эксперт должен быть до­ статочно хврощо информирован об источниках возникно­

С целью обеспечения независимости оценок следует устра-

'«Математические методы в современной буршуавной социологии». Под ред. Г. В. Осипова, М., 1966, стр. 216.

105

нять возможное взаимовлияние экспертов и уменьшать воздействие посторонних факторов. Большое значение имеют правильная формулировка вопросников (анкет),

экспертов. Один из них (индивидуальный, или метод согласования оценок) заключается в том, что каждый эксперт дает оценку независимо от других, а затем с по­ мощью какого-либо приема эти оценки объединяются : в одну обобщенную (согласованную). Второй способ (групповой) основан на совместной работе экспертов и получении суммарной оценки от всей группы в целом. При третьем способе (так называемый метод Дельфы) согласование индивидуальных оценок сочетается с по­ следовательным 'ознакомлением каждого эксперта с оцен­

ками остальных.

' Наиболее распространено использование группы экс­ пертов по методу согласования оценок.

Тогда если речь идет о вероятности какого-либо со­ бытия или гипотезы и £-й эксперт указывает для этой вероятности число Р., то простейший способ получения обобщенной оценки состоит в вычислении средней веро­ ятности:

Вес определяется либо на основе оценок предыдущей деятельности эксперта, например отепени надежности, либо с учетом квалификации, эрудиции, должности или академического звания эксперта.

Средняя взвешенная оценка вычисляется по формуле

106

В табл. 10 дан пример возможной шкалы веса эксперта, работающего в научно-исследовательской организации, в зависимости от занимаемой должности и ученой степени.

I Как • уже отмечалось, существенный недостаток вы­ числения средних оценок заключается в том, что в данном случае нивелируемся мнение меньшинства, _на сторлне которого, однако, нередко оказывается истина. История сохранила много примеров, когда прогнозы крупнейших ученых оказывались ошибочными. Так, в 50-х годах большинство физиков считало невозможным использо­ вание лазеров, в 30-х годах ряд крупных ученых, в том числе Э. Резерфорд, иронически относились к идее прак­ тического использования атомной энергии, а лауреат Нобелевской премии Милликен заявлял, что расщепление атома не может дать' человечеству сколько-нибудь зна­ чительного количества энергии. По-видимому, эксперты

Выводы, к которым приходят специалисты, часто зависят от их научных и личных интересов, необходи­ мости поддержания репутации, от сложившихся взглядов и убеждений. И поэтому желательно, чтобы все исходные данные, на базе которых делаются оценки, были обосно­ ваны и доступны для проверки и критики.

Вместе с тем не всегда следует заранее задавать жест­ кие ограничения для идей, выдвигаемых экспертами. Существует подход к работе с экспертами, опирающийся на гипотезу, что среди^ольшого числа идей всегда имеется хотя бы одна хорошая. Этот подход, получивший назва­ ние «мозговой атаки», основан на следующих принципах °.

• 1. Сформулируйте проблему в основном, выделив единственный центральный пункт.

•} 2. Не объявляйте ложной и не прекращайте исследо­ вать ни одну идею.

3. Подхватывайте идею любого рода, даже если ее

уместность кажется вам в данное время сомнительной. 4. Оказывайте поддержку и поощрение, столь не­ обходимые для того, чтобы освободить участников засе­

дания от скованности.

Использование такого метода позволяет повышать про­ дуктивность экспертов; иначе говоря, «хороших» идей здесь возникает больше, чем когда пытаются анализи­ ровать только «хорошие».

Известны случаи использования «мозговой атаки» для нахождения единственного решения проблемы, истинный характер которой знал лишь руководитель группы экспер­ тов, направляющий -обсуяедение таким образом, чтобы выявить наилучшее решение исследуемой проблемы.

«Мозговая атака» применяется также, когда нужно подвергнуть «разносу» ранее подготовленный рабочий до­ кумент и превратить его в «согласованный». Обычно после критического разноса, где суждения экспертов ничем не ограничены, лишь 25—30% выводов этого документа

108

водится оценка, от сложности проблемы и уровня дета­ лизации оцениваемых событий. Если события заданы лишь в форме их описания, то задача групповой оценки — выявление предпочтения по какому-либо признаку.

В этом случае полезно представить события в виде сценария. Сценарий — логическое и правдоподобное опи­ сание будущих событий с установлением' примерного времени их осуществления и связей, в результате которых данные события могут произойти. Он составляется с целью уточнения будущих условий, при которых будет решаться проблема, и одновременно служит моделью. При написа­ нии сценария пытаются установить, как, исходя из су­ ществующей (или какой-либо другой заданной) ситуации, шаг за шагом начнет «развертываться» будущее состоя­ ние внешних условий. Особое внимание уделяется «кри­ тическим» точкам, после которых события могут разви­ ваться в том или ином направлении. Сценарий принуждает специалистов заниматься деталями обстановки, которые они могли упустить, руководствуясь обычными сообра­ жениями о будущем.

Сценарий является эффективным инструментом ана­ лиза в случаях, не поддающихся исследованию с помощью непосредственной оценки существующих тенденций раз­ вития и распространения их на будущее. На базе тща­ тельно и всесторонне разработанного сценария можно разделить все факторы, относящиеся к будущему, на основные и второстепенные и сформулировать главные цели решения проблемы.

• Сценарий — не предсказание и не прогноз; это просто показ вариантов возможной обстановки в будущем и по­ пытка установления последовательности событий, веду­ щих к ней. Освещение возможностей будущего позволяет увидеть взаимосвязи между отдельными его элементами и оценить вероятность той или иной ситуации, f

Умножая оценку вероятности того, что данная ситуа­ ция возникнет, на оценку последствий, можно рассчитать оценку относительной важности каждого вида сценария по схеме, показанной в табл. 11.

Относительная важность сценария учитывается при расчете групповых оценок экспертов, направленных на установление ситуации будущего и выбор основных целей.

109