книги из ГПНТБ / Бешелев, С. Д. Экспертные оценки
.pdfТаким образом, сумма рангов Sn, полученная в резуль тате ранжирования п объектов, будет равна сумме чисел натурального ряда, т.е.
|
|
я |
|
1) |
|
|
|
|
|
|
|
п (ге + |
|
|
|
|
|
||
|
|
|
2 |
|
|
|
|
|
|
„где |
,т,- — ранг £-го |
объекта. |
|
|
|
|
|||
J |
Когда |
ранжирование |
производится |
несколькими экс- |
|||||
; пертами, |
сначала |
подсчитавается сумма рангов для каж- |
|||||||
i дого объекта, причем наивысший |
(первый) ранг присваи- |
||||||||
1 вается объекту, получившему наименьшую сумму |
рангов, |
||||||||
] и, |
наоборот, объекту |
с |
наибольшей |
суммой рангов при- |
|||||
! сваивается самый |
низкий ранг |
N. |
Остальные |
объекты |
|||||
I упорядочиваются |
в |
соответствии |
|
со |
значением |
суммы |
рангов относительно объекта, которому присвоен первый ранг. Рассмотрим пример ранжирования факторов не сколькими экспертами.
Представим, что три эксперта должны ранжировать три основных фактора, влияющих на оценку предпочти тельности альтернатив, и что этими факторами являются: техническая новизна, ожидаемая прибыль и срок освоения.
Предположим, что каждому из факторов эксперты присвоили соответствующие ранги, показанные в первых
трех строках |
табл. |
13. |
|
|
|
Таблица 13 |
|
|
|
|
|
Определение результирующего рапга факторов |
|
|
|||
|
|
|
|
Факторы |
|
Эксперты |
|
Техническая |
Ожидаемая |
Срок освое |
|
|
|
|
новизна |
п рпбыль |
ния |
Иванов . |
|
|
1 |
2 |
3 |
Петров . |
|
|
2 |
1 |
3 |
Спдоров |
|
|
1 |
3 |
2 |
С у м м а |
раптов |
. . |
4 |
6 |
8 |
Результирующий ранг фак |
I |
I I |
I I I |
||
тора |
, . |
. . |
120
Как видно из таблицы, в этом случае наивысший (I) результирующий ранг присваивается фактору, получив шему наименьшую сумму рангов, т. е. наибольшее число первых мест. Последующие ранги ( I I и I I I ) устанавли ваются в зависимости от порядка суммы рангов, получен ной другими факторами.
Аналогичным образом могут быть ранжированы объекты или их признаки, а также альтернативы, цели, критерии и т. д.
Иногда для' установления результирующего ранга сначала рассчитывается средний ранг путем деления суммы рангов' на число экспертов, участвующих в ран жировании, а затем уже по величине среднего ранга устанавливается результирующий.
Следует отметить, что ранг определяет лишь место, занимаемое объектом среди других объектов в отношении какого-то важного для анализа свойства или качества.
На вопрос о том, как далеко отстоят друг от друга иссле- \ дуемые объекты, метод ранжирования ответа не дает. \ На практике метод ранжирования «в чистом виде» используется редко. Чаще всего он применяется в соче тании с другими .методами упорядочения, обеспечиваю щими более четкую различимость сравниваемых объектов. Так, ранжирование мбжет быть использовано в соче тании с методом непосредственной оценки. Для этого 1^
"разрабатывается шкала, каждому интервалу которой присваивается оценка (балл), например от 1 до 10. Вели чины интервалов должны быть7^"т!1чтж~з^ения_э"кспертов, равными.
Задача экспертов состоит в помещении всех рассмат риваемых объектов (факторов) в определенный оценочный интервал в соответствии либо со степенью обладания тем или иным свойством, либо с предположениями эксперта об их ..значимости. ' \
Простейшим случаем оценки являются вопросы ан- / кеты, на которые эксперт должен дать ответ «да» или ! «нет». Может быть задана трехступенчатая шкала (на- 1 пример: «очень важно», «важно», «не имеет значения») [
или пятиступенчатая и т. п. |
|
! |
||
Во всех таких случаях каждому из ответов присваи- j |
||||
вается |
определенное |
число — балл; например |
ответу |
! |
«да» — балл 1, а ответу «нет» — балл 0; при трехступен- |
! |
|||
чатой |
шкале ответу |
«очень важно» — балл 2, |
ответу |
|
121
«важно» — балл |
1, |
а ответу «не |
ииеет значения» — |
|
балл 0 и т. п. |
|
|
|
|
В общем случае оценки, определенные экспертом для |
||||
каждого |
из объектов i в соответствии с установленной |
|||
шкалой, |
могут |
быть |
представлены |
в следующем виде 1 0 : |
29 и
>= i
где w{j |
— вес, подсчитанный для объекта i на основании |
||||||
оценок |
всех |
экспертов; pt.. — оценка |
экспертом |
/ объекта |
|||
i ( 7 = 1 , |
2, . |
|
т; |
£ = 1,2, |
. . ., и). |
|
|
Далее |
рассчитывается |
средняя |
оценка по |
формуле |
|||
|
|
т |
|
|
|
|
|
wt = |
- |
J |
^ |
. |
|
|
|
* |
n |
|
т |
|
|
|
|
|
2 |
2 ш « 7 |
|
|
|
|
Когда необходимо более точно установить взаимо связь между сопоставляемыми альтернативами (факто рами), то для оценки предпочтения может быть исполь зован метод последовательных сравнений и .
При сравнении альтернатив с помощью этого метода проводится следующая процедура:
1)альтернативы располагаются в порядке их важности (как и при ранжировании);
2)наиболее важной альтернативе приписывается
оценка |
равная единице, а остальным (соответственно |
степени |
их важности) — оценки vt между нулем и еди |
ницей; |
|
3) решается, будет ли альтернатива с оценкой 1 пре восходить по важности все остальные альтернативы, взятые вместе. Если да, то оценка этой альтернативы иг увеличивается так, чтобы выполнялось условие
1 0
1 1
я
1=2
Р. Экенроде. Взвешенные многомерные критерии. Сб. «Статистическое из мерение качественных характеристик». Под ред. В. М. Четыркина. М., 1972.
У.Черчмен, Р. Акофф, А. Арноф. Введение в исследование операций. М., 1968:
122
где v. — оценки всех остальных альтернатив. В против ном случае величина v1 изменяется так, чтобы было спра ведливо неравенство
«
, |
^1 < 2 vt; |
•=2
4)определяется, будет ли вторая по важности альтер
натива с оценкой У2 более важна, нежели все последующие с более низкими оценками; затем проводится та же про цедура, что и с оценкой vx;
5) эта процедура продолжается до тех пор, пока не будет оценена (п — 1)-я альтернатива (фактор).
При наличии большого числа альтернатив (более семи) применение метода последовательных сравнений стано вится чрезмерно трудоемким. Тогда для определения предпочтительности альтернатив обычно используется ме- ;тод парных сравнений, суть которого состоит в следующем.
Предлагается произвести сравнение альтернатив (или факторов) попарно, с тем чтобы установить наиболее зна чимую в каждой такой паре.
Для облегчения этой процедуры обычно составляют специальную таблицу — матрицу парных сравнений (табл. 14). Здесь все сопоставляемые факторы записы ваются в одном и том же порядке дважды: в верхней
строке и в левом |
крайнем |
столбце. |
|
|
|
|
Таблица 14 |
|
|
Матрица парных |
сравнений |
i |
2 |
1> |
п |
1 |
. |
х12 |
х1р |
х1п |
|
2 |
#21 |
||||
|
х2р . |
х2п |
|||
я |
xql |
xq2 |
xqp |
х<1п |
|
|
х«1 |
xtt2 |
хпр |
— |
Каждый эксперт, заполняющий такую матрицу, дол жен проставить на пересечении сравниваемых факторов оценку х р. Причем если фактор q более предпочтителен,
123
тем фактор р, |
эта оценка равна 1; если наоборот, то оценка |
||||||||
равна 0. |
|
|
|
|
|
|
|
||
|
В случаях, когда каждая пара факторов сравнивается |
||||||||
однократно, |
число |
|
сравнений |
будет |
|
|
|||
|
Y |
п(п — |
1) |
|
|
|
|
|
|
|
|
2 |
' |
|
|
|
|
|
|
где п — общее число |
факторов. |
|
|
||||||
|
Если, например, имеется 4 альтернативы, то каждый |
||||||||
эксперт |
должен произвести |
|
|
|
|||||
|
т |
4(4 — |
1) |
|
г |
|
|
|
|
|
74 = |
—! —g—- = |
|
о сравнении. |
|
|
|||
|
Это |
значит, что |
он |
должен |
сравнить альтернативу |
I |
|||
с |
альтернативами |
|
I I , I I I и I V , затем |
альтернативу |
I I |
||||
с |
альтернативами |
I I I и I V и |
наконец |
альтернативу I I I |
|||||
с |
альтернативой |
I V . |
|
|
|
|
|||
|
Если процедура |
парных сравнений |
выполняется не |
сколькими экспертами, то в результате сложения одно именных элементов частных матриц составляется сум
марная |
матрица, отражающая предпочтения всех экс |
пертов. |
|
Вычисление средней частоты предпочтения каждого |
|
фактора |
производится по формуле |
|
п—1 |
fPK= |
2 / 0 / 9 ) ; . |
где /pi. — частота предпочтения /-м экспертом фактора р
всем остальным факторам; / (plq)j — частота предпочте ния фактора р по отношению к фактору q.
Тогда
а средний ранг фактора, полученный от всех экспертов;
рm п
j=l p=l |
з |
124
Часто при сравнении альтернатив с помощью эксперт ных оценок приходится' учитывать не только то, что на выбор наиболее предпочтительной альтернативы оказы вают влияние несколько качественно различных факто ров, но также и неравнозначность самих факторов. В этих случаях нужно оценить с помощью экспертов значимость, или вес, каждого из факторов, а затем произвести взве шивание первоначальных суммарных оценок альтернатив.
Покажем существо этой несложной процедуры на при мере.
Предположим, что нам необходимо выбрать один из трех альтернативных проектов: А, Б или В. Представим, что основными факторами, влияющими на оценку пред почтительности, будут техническая новизна проекта, ожидаемая прибыль и срок освоения. Пусть в результате сопоставления вариантов по этим факторам эксперты дали оценки (по десятибалльной шкале) каждого проекта, показанные в табл. 15, столбцах 2—4.
Таблица 15 Расчет ранга по суммарной скорректированной оценке
|
|
Факторы |
|
|
|
|
|
Техни |
Ожидае |
Срок |
Суммар |
Суммар |
|
Проект |
ческая |
мая |
ная |
Ранг |
||
новизна |
прибыль |
освоения |
ная |
скоррек |
||
|
|
|
|
оценка |
тирован |
|
|
1,0 (вес |
0,8 (вес |
0,4 (вес |
|
ная |
|
|
|
оценка |
|
|||
|
фактора) |
фактора) |
фактора) |
|
|
|
1 |
2 |
3 |
i |
5 |
в |
7 |
А |
5 |
•7 |
2 |
14 |
11,4 |
I |
Б |
2 |
6 |
6 |
14 |
9,2 |
I I I |
В |
3 |
7 |
4 |
14 |
10,2 |
I I |
Складывая оценки по всем факторам, устанавливаем, что суммарная оценка для всех вариантов одинакова и равна 14. Представим, что эксперты установили следую щую значимость (вес) каждого из факторов (по шкале от 1 до 0): техническая новизна — 1, ожидаемая при быль — 0,8, срок освоения — 0,4.
Теперь мы можем скорректировать первоначальные оценки проектов по каждому фактору с учетом веса самого фактора. Для этого нужно умножить вес фактора
125
на соответствующую оценку каждого проекта и сумми
ровать полученные |
результаты. |
|
|
|
|||
Так, для проекта А суммарная скорректированная |
|||||||
оценка |
будет равна |
(см. табл. 15) |
5 x 1 , 0 + 7 x 0 , 8 + |
||||
+ 2 x 0 , 4 = 1 1 , 4 . |
|
|
|
|
|
||
Аналогичным способом можно рассчитать суммарную |
|||||||
скорректированную |
оценку для |
проектов Б и В (стол- |
|||||
бец 6). Далее можно произвести ранжирование. |
|||||||
Сравнивая оценки, устанавливаем, что наиболее высо |
|||||||
кую имеет |
проект |
А, |
которому |
присваивается |
первый |
||
ранг; проекты Б ж В в соответствии с суммарной |
скоррек |
||||||
тированной |
оценкой получают |
третий |
и второй ранг |
||||
(столбец |
7). |
|
|
|
|
|
|
Таким образом, наиболее предпочтительная альтерна тива определяется по величине суммарной скорректиро ванной оценки, которая рассчитывается по формуле
1
J
"
1=1
ч . .. |
— оценки, |
полученные |
проектом j |
по |
каждому |
|
|||
где Xj{ |
|
||||||||
из п факторов; w( |
— вес |
фактора |
i. |
|
|
|
|||
Математический аппарат, используемый при эксперт |
|
||||||||
ной оценке относительной значимости альтернатив, по |
|
||||||||
стоянно развивается и не исчерпывается методами упоря |
|
||||||||
дочения. Однако его подробное описание может служить |
|
||||||||
предметом другой |
книги. |
|
|
|
|
|
|
||
Здесь лишь отметим, что особого внимания требует , |
|||||||||
проблема согласованности |
оценок, |
полученных от группы |
|
||||||
экспертов? -Очень" часто |
от~разных |
экспертов |
можно полу |
|
|||||
чить ряды оценок |
для |
одного |
или нескольких |
факторов, |
|
||||
различающихся как для отдельных факторов, |
так и по |
|
|||||||
своим средним. В некоторых случаях ряды оценок имеют |
1 |
||||||||
равные |
средние, |
но различаются |
по размаху. |
Для про- |
\ |
||||
верки |
согласованности |
оценок, полученных от нескольких 1 |
I |
экспертов, можно использовать методы ранговой корреля- 1
цгги и, в частности, показатели, разработанные Спирменом |
1 |
и Кендаллом. |
* |
Вместе с тем, рассказывая об экспертных оценках, |
|
нельзя не остановиться на конкретных примерах и мето |
|
дах их применения. Некоторые примеры применения |
|
экспертных методов в прогнозировании и долгосрочном |
|
планировании науки и техники рассматриваются в по |
|
следнем разделе этой главы. |
|
Экономить |
на |
расчетах, |
оценивающих |
громадные |
эко |
||
номические |
мероприятия, |
все равно, |
что |
экономить |
на |
||
прицеливании |
при выстреле. |
|
О. К. |
Антонов |
|||
|
|
|
|
|
|||
|
|
|
|
|
авнакоистр-унтор |
||
|
|
Использование экспертных |
оценок |
||||
в методах |
прогнозирования |
и |
планирования |
Принимая решения, мы должны учитывать связь настоя щего с будущим, поскольку интерес к будущему выте кает из непосредственной и острой практической потреб ности сегодняшнего дня. Именно поэтому традиционный подход к будущему науки по принципу «поживем — уви дим» сейчас вытеснен принципами «предскажем и при готовимся» и «сделаем его -сами». Однако встает вопрос, можем ли мы «сделать» будущее научно-технического прогресса, многие аспекты которого являются столь неопределенными?
Один философ охарактеризовал прошлое, будущее и их связь с настоящим так: прошлое — тот период вре мени, в котором мы ничего не можем изменить, но отно сительно которого питаем иллюзию, что знаем о нем все;
будущее — тот период, |
о |
котором |
мы не знаем |
ничего, |
|||
но |
относительно которого |
питаем |
иллюзию, |
что |
можем |
||
его |
изменить; настоящее |
же — та |
граница, |
на |
которой |
||
прошлое |
превращается |
в будущее |
и одни - иллюзии сме |
||||
няются |
другими. |
|
|
|
|
|
Если еще раз вспомнить об ошибках крупнейших ученых и специалистов в их прогнозах будущего, то это ироническое высказывание как будто бы и не лишено оснований. В нашей книге также приведено много под тверждений того, что точные предсказания будущего сбываются редко. И одновременно с этим значение пред видения постоянно возрастает; можно сказать, что необ ходимость предвидения никогда еще в прошлом не была столь насущной, как сейчас. Темпы научно-технического прогресса во многом зависят сегодня от того, насколько своевременно выявляются актуальные научно-технические проблемы и как быстро они решаются.
«Непредвиденные возможности обычно стучатся в дверь только один раз. Не открыть им — это ошибка упуще-
127
ния. Неверные действия при использовании заранее ояшдаеыых возможностей — это ошибка совершения» 1 2 . За дача предвидения заключается в выявлении возможностей и оценке последствий принимаемых решений. Предвиде ние позволяет заблаговременно подготовиться к будущим событиям, учесть их положительные и отрицательные последствия, в определенной степени регулировать ход развития. И несмотря на то что будущее не всегда ока зывается таким, каким его предсказывают, полезность предвидения является сегодня общепризнанной.
Осознание необходимости предвидения возможных пу тей развития общественного производства привело в по следние годы к резкому возрастанию интереса к вопросам прогнозирования вообще и к научно-техническому про гнозированию в особенности.
Научно-техническое прогнозирование позволяет не только предвидеть направления развития, но и лучше понять, какие цели необходимо ставить и какие послед ствия можно ожидать от различных действий; оно по могает выбрать способы оптимального распределения ре сурсов, необходимых для достижения поставленных це лей. В нашей стране прогнозирование рассматривается как один пз важнейших элементов подготовки долго срочных планов развития народного хозяйства и ныне включает такие сферы, как экономика, научно-техни ческий прогресс, демографические процессы, образование и т. д. Области деятельности, охватываемые прогнозом в условиях социализма, ничем по существу не ограни чены, и, как ранее было показано, он должен стать обя зательным составным элементом любой рациональной системы управления.
Научно-технические проблемы, возникающие в на родном хозяйстве, в отрасли или на предприятии, могут заключаться в создании новых средств труда, новых видов промышленной продукции, новых конструкционных материалов, технологических процессов и т. п. Прогноз зирование этих проблем имеет различные цели, наиболее существенны среди которых — выявление перспективных направлений развития и определение возможного срока решения важнейших проблем. Обычно возникает необ-
"Р. Акофф. Планирование в больших экономических системах. M . , 1972, стр. 29.
128
ходимость установить (хотя бы приближенно) объем ма териальных, финансовых и кадровых ресурсов, нужных для решения каждой проблемы, и возможный эффект.
Нередко оценка таких величии может быть сделана на основе прямых расчетов или с помощью экстраполяции существующих тенденций развития на будущее. Экстра поляция в прогнозировании — это распространение вы водов относительно закономерностей развития объекта
впрошлом на развитие данного или аналогичного объекта
вбудущем. В основе методов экстраполяции лежит пред положение о неизменности факторов, определяющих течение( рассматриваемых процессов, что, как правило, оказывается неверным для сколько-нибудь длительных промежутков времени.
Поэтому сейчас при прогнозировании и долгосрочном; планировании все чаще прибегают к методам экспертной! оценки; они помогают устанавливать степень сложности1 и актуальности проблем, определять основные цели и критерии, выявлять наиболее важные факторы и взаимо- I связи между ними, влияющие на достижение установлен ных целей, выбирать наиболее предпочтительные альтер нативы. Многие методы научно-технического прогнози рования, разработанные в нашей стране в последние
годы, связаны с использованием на тех или иных этапах прогноза экспертных оценок. Наиболее широко приме няются при прогнозировании научных исследований и опытно-конструкторских разработок деревья целей и матрицы, с помощью которых производится выбор наи более перспективных научно-технических направлений или научной и конструкторской тематики. В ряде методик используются балльные оценки для установления зна чимости альтернатив. В Некоторых из них предусмотрена разработка сценариев и деревьев решений для определения логической взаимосвязи прогнозируемых событий во вре мени и оптимального распределения ресурсов. Вместе, с тем следует отметить, что экспертные подходы, применяе мые в методах прогнозирования, еще находятся в стадии становления. Сейчас ведется проработка методологических проблем, проверка на практике различных критериев и методик.
Для иллюстрации применения экспертных оценок в научно-техническом прогнозировании расскажем о неко торых методиках, разработанных советскими специалистами.
9 С. Д. Бешелев, Ф. Г. Гурвцч |
129 |