книги из ГПНТБ / Бешелев, С. Д. Экспертные оценки
.pdfтехники. Так, если А( — оценка важности i-то вида техпнки, а Bki — оценка важности к-то направления для 1-го вида техники, то скорректированная оценка Bf°v важности к-то направления исследования по i видам тех ники будет
Выбор экспериментальных установок определяется их важностью для перспективной техники и для основных направлений исследований, поэтому оценки матрицы 3 кор ректируются с учетом скорректированных оценок мат рицы 2. Так, если оценка ?п-й экспериментальной уста новки для к-го направления исследования С1Пк, то скор ректированная оценка важности экспериментальной уста новки по К направлениям равна
к
/""скор |
— |
X 1 |
П |
DcKop |
|
J~i |
^тк°к |
• |
|
|
|
к—1 |
|
|
Зная ориентировочную стоимость каждой эксперимен тальной установки и оценивая предполагаемые бюджет ные ограничения на перспективный период, выбирают из перечня установок наиболее предпочтительные, т. е. такие, которые получили наибольшую скорректирован ную оценку и могут быть созданы с учетом предполагае мых финансовых возможностей.
На четвертом этапе осуществляли выбор вариантов исполнения перспективных установок. Были определены технико-экономические критерии эффективности их со здания и применения.
В табл. 27 представлены критерии выбора и дано их определение.
Суммарнаяоценка эффективности рассматриваемых вариантов технического исполнения базируется на ком плексе технико-экономических критериев. При опреде лении количественных оценок Rf по каждому из / крите риев должны быть максимально использованы статисти ческие данные.
При суммировании по каждому критерию можно при менять относительные величины. Это позволяет устано вить примерные границы эффективности вариантов. Вна чале проводилась оценка г грунп критериев по / вариан-
150
Таблица 27 Критерий выбора
Группы критериев г |
|
Критерии / |
Определение критерия |
|||||
I . Эксплуатацион |
1. |
Соответствие |
Вероятность |
обеспечения |
||||
ные |
|
|
|
запроектированных |
вы |
|||
|
|
|
|
ходных |
параметров |
при |
||
|
|
|
|
эксплуатации |
системы |
|||
|
|
2. |
Надежность |
Вероятность |
обеспечения |
|||
|
|
|
|
безотказной работы |
при |
|||
|
|
|
|
сохранении первоначаль |
||||
|
|
|
|
ных технических харак |
||||
|
|
|
|
теристик в течение опре |
||||
|
|
|
|
деленного |
времени |
|
||
|
|
3. |
Отдача |
Объем информации, |
по |
|||
|
|
|
|
лученной |
за |
календар |
||
|
|
|
|
ный период времени |
4 |
|||
I I . |
Экономические |
4. |
Стоимость |
Затраты на создание уста |
||||
|
|
|
|
новки |
|
|
|
|
|
|
5. |
Расходы |
Планируемые расходы на |
||||
|
|
|
|
исследование и разработ |
||||
|
|
|
|
ку установки |
|
|||
|
|
6. |
Экономическая эф |
Отношение объема инфор |
||||
|
|
фективность эксплу |
мации к |
эксплуатацион |
||||
|
|
атации |
ным затратам на ее по |
|||||
|
|
|
|
лучение за определенный |
||||
|
|
|
|
календарный |
период |
|
||
|
|
|
|
эксплуатации |
|
|
||
I I I . |
Технический |
7. |
Техническая осу |
Вероятность |
создания |
|||
успех |
ществимость |
установки |
с |
заданными |
||||
|
|
|
|
характеристиками к тре |
||||
|
|
|
|
буемому |
сроку |
|
||
|
1 |
8. |
Развитие |
Вероятность дальнейшего |
||||
|
|
|
улучшения |
технических |
||||
|
|
|
|
|||||
|
|
|
|
характеристик установ |
||||
|
|
|
|
ки |
|
|
|
/ |
|
|
9. |
Чувствительность |
Степепь |
изменения |
вы |
||
|
|
|
|
ходных |
параметров |
при |
||
|
|
|
|
изменении входа |
|
там таким образом, чтобы сумма оценок весов всех групп критериев была равна единице. Определение относитель ного значения каждого из / критериев производилось с помощью экспертных оценок. Значение каждого кри терия S j j определялось как средневзвешенная оценка, исчисляемая перемножением веса D R J каждой группы критериев на оценку в баллах, установленную экспер тами для каждого из / критериев. При этом суммарное
количество |
баллов всех |
критериев было принято рав |
ным 100. |
|
|
Пятый |
этап выбора |
варианта установок заключался |
в математической обработке оценок экспертов и принятии решения о выборе. Для сопоставления вариантов по кри териям абсолютные величины критериев Rfj приводились к относительным взвешенным оценкам S'^j. Взвешивание значений критериев осуществлялось методом линейной интерполяции. Варианту, имеющему наибольшую абсо
лютную |
величину |
критерия |
присваивалась оценка, |
равная |
значению |
критерия SfJ; |
варианту с наименьшей |
абсолютной величиной критерия присваивалась оценка, равная нулю.
Взвешенные оценки S'fj для остальных вариантов определяются путем линейной интерполяции между наи
большей и |
наименьшей оценкой критерия, т. е. |
|
|
Л max |
|
S ' = |
тэтах |
— - R , , - |
J J |
JJ |
Рассмотрим в качестве примера критерий «надежность». Допустим, что абсолютные величины критерия следую щие:
Д 2 1 = 0 , 9 8 ; Л 2 2 = 0 , 9 ; Д я / = 0 , 9 5 ;
а значения |
|
критерия: |
|
|
|
5 2 1 = 5 0 ; |
5 2 |
2 |
= 55; 5 ' 2 / = 4 5 . |
/ |
|
Тогда |
относительные взвешенные |
оценки S' |
будут |
||
S ; i = 5 0 ; |
5 2 |
2 |
= 0 ; 5;у =(50/0,98) X 0,95=48,5. |
|
Оценки S'yj проверялись на чувствительность, под ко торой понимается степень изменения результатов в зави симости от изменения исходных данных. Рассматривалось изменение технических характеристик, стоимостных ве личин и добавление дополнительных ограничений. Диа пазон отклонений конечных результатов в зависимости
152
от изменений на входе характеризует обоснованность расчетов; высокая чувствительность на выходе при малых изменениях на входе говорит о неустойчивости модели оценок. На основании анализа чувствительности оценок, полученных каждым из вариантов, принималось решение о выборе наиболее предпочтительной экспериментальной установки.
Методика обеспечивает комплексную технико-эконо мическую оценку основных факторов, оказывающих влия ние на создание и эксплуатацию перспективных систем. Хотя некоторые из этих факторов трудно поддаются фор мализации, а окончательное решение о выборе должно быть основано на ряде соображений интуитивного по рядка, количественный анализ такого типа при наличии нескольких качественно различных критериев служит предпосылкой для принятия обоснованного решения.
ЗАКЛЮЧЕНИЕ
Наш рассказ об экспертных оценках подходит к концу. И поскольку в нем были затронуты самые различные проблемы использования специалистов в качестве экспер тов, попытаемся сделать краткое резюме.
Есть одно практическое правило, хорошо известное водителям: чем больше скорость и сложнее рельеф дороги, тем дальше и внимательнее нужно смотреть вперед. Суть этого правила ясна. Высокая скорость движения и воз можность возникновения неожиданных препятствий до минимума сокращают время принятия решения. Причем «человеческий фактор» — быстрота реакции и разумность решения — в таких ситуациях не менее важны, чем хоро шие тормоза у автомашины.
Динамизм и новизна современных народнохозяйствен ных задач, возможность возникновения разнообразных факторов, влияющих на эффективность решений, требуют, чтобы эти решения принимались быстро и в то же время были хорошо обоснованы. Непременной предпосылкой надежности таких решений является тщательное исследо вание перспектив. Сейчас как никогда нркио смотреть вперед, поскольку влияние отдаленного будущего на сегодняшние решения становится все более существен ным.
Научно-техническая революция ведет к качественным преобразованиям в теории и практике управления. Разви тие математических методов и вычислительной техники обеспечивает решение многих сложных задач. Однако наряду со значительными успехами в применении математики и ЭВМ возникли затруднения, обусловленные принципиаль ным отличием задач управления от чисто научных и тех нических. Помимо необходимости учета трудноизмеримых качественных факторов в любой такой задаче всегда фигу-
154
|
рируют «человеческие факторы», оказывающие значительное |
||||||||||||||
|
влияние |
на эффективность |
решений. |
|
|
|
|
|
|||||||
|
Важную роль эти факторы играют и при оценке буду |
||||||||||||||
|
щего. Опыт, |
|
интуиция, |
чувство |
перспективы |
в |
сочетании |
||||||||
|
с информацией помогают |
специалистам |
точнее, выбирать |
||||||||||||
|
наиболее |
важные цели и направления |
развития, |
находить |
|||||||||||
|
наилучшие |
варианты решения |
сложных |
научно-техниче |
|||||||||||
|
ских и социально-экономических задач |
в |
условиях, |
когда |
|||||||||||
|
нет информации о решении аналогичных |
проблем в прош |
|||||||||||||
|
лом. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
I |
Использование экспертных методов помогает формализо- |
||||||||||||||
I |
вать процедуры сбора, |
обобщения |
и анализа |
мнений |
спе- |
||||||||||
I циалистов с |
целью |
преобразования их |
в |
форму, |
наиболее |
||||||||||
| удобную |
для принятия |
обоснованного |
решения. |
- |
|
||||||||||
1 |
Поскольку |
оценки |
экспертов |
являются |
вероятност |
||||||||||
|
ными, основанными на способности специалистов давать |
||||||||||||||
|
полезную |
информацию |
в |
условиях |
неопределенности, |
||||||||||
|
для формализации их суждений удобно использовать |
||||||||||||||
|
понятия теории вероятностей. Причем если |
. эксперту |
|||||||||||||
|
удается выразить свой опыт в виде количественной оценки |
||||||||||||||
I в простых случаях, то теория вероятностей помогает со |
|||||||||||||||
|
вершить логический переход к более сложным ситуациям. |
||||||||||||||
|
Это было показано в первой главе книги. |
|
|
|
|||||||||||
|
На практике часто случается, что комплексная про |
||||||||||||||
|
блема не может быть решена непосредственно и оказы |
||||||||||||||
|
вается необходимым разделить ее на несколько более |
||||||||||||||
|
простых подпроблем и Задач. В таких случаях можно |
||||||||||||||
|
применить логические подходы к разбиению сложных |
||||||||||||||
|
проблем с помощью матриц, ^деревьев целей и деревьев |
||||||||||||||
|
решений. Эти |
подходы |
освещены |
во второй "главе. |
|
||||||||||
|
Основой экспертных' методов является система |
пра |
|||||||||||||
|
вил, обеспечивающих пршшсание обоснованных оценок |
||||||||||||||
|
исследуемым событиям. Основные статистические правила," |
||||||||||||||
|
используемые |
для расчета групповой |
экспертной оценки, |
||||||||||||
|
а также шкалы, применяемые для измерения информа |
||||||||||||||
|
ции, полученной от экспертов, описываются в третьей |
||||||||||||||
|
главе. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
При анализе сложных проблем исследуемая характе |
||||||||||||||
|
ристика может рассматриваться как случайная величина, |
||||||||||||||
|
отражением |
закона |
распределения |
которой |
|
являются |
|||||||||
|
оценки экспертов. В случаях, когда характер распреде |
||||||||||||||
|
ления установить не удается, нытаются оценить инфор |
||||||||||||||
|
мацию |
с |
помощью |
методов, отражающих предпочтение |
155
эксперта. Предполагается, что эксперт обладает опреде ленной системой предпочтений, если он в состоянии сравнить возможные варианты или факторы, приписав
.каждому из иих число. Чаще всего предпочтительность или относительная значимость альтернатив устанавли
ваются |
с помощью методов ранжирования, непосред- |
J ственной |
оценки или парных сравнений. В связи с тем, |
что отбор и методы опроса экспертов оказывают существен
ное |
влияние |
на |
результаты экспертизы, этим процеду- |
| рам |
уделено |
в |
книге большое внимание. Все эти методы |
ипроцедуры охарактеризованы в четвертой главе.
Взаключение в качестве примеров приведен ряд оте чественных методик прогнозирования и перспективного планирования науки и техники, основанных па принци пах, изложенных в этой книге.
Поиск наилучших форм и методов управления является для каждого этапа развития нашего государства непре менным условием рационального хозяйствования. Все воз растающий интерес к экспертным методам закономерен и вызван повышением важности предвидения путей и результатов научно-технического прогресса.
Эти обстоятельства, несомненно, будут и в дальнейшем стимулировать усилия, направленные на совершенство вание методов экспертных оценок и создание единых мето дологических основ использования ученых и специалистов в качестве экспертов.
Сегодня же предмет, которому посвящена эта книга, находится в стадии становления. Поэтому авторы сочли более полезным обратить внимание читателя на предпо сылки и принципы использования экспертных методов, нежели на математический аппарат, применяемый дл:я обработки экспертных оценок.
Из этого не следует делать вывод, что проблемы, свя занные с математической обработкой экспертных оценок, решены. Необходимость дальнейшего развития матема тического аппарата, используемого для формирования обобщенных групповых оценок, несомненна.
Однако наиболее важная проблема совершенствования
Vэкспертных методов состоит в повышении их надежности. Ее решение требует большой экспериментальной и ана литической работы, результатами которой должны быть выяснение соответствия между вопросами и оценками; выявление всевозможных «скрытых» факторов, оказываю-
156
щих влияние на суждения экспертов; исследование форм обратной связи между экспертами и аналитиками; создание методов, позволяющих объективно оценить сте пень обоснованности ответов экспертов.
Третьей важной проблемой является необходимость разработки критериев отбора и создания надежных схем для оценки пригодности и формирования групп экс пертов.
Даже простое перечисление нерешенных проблем по казывает, что в настоящее время работа по совершенство ванию методов экспертных оценок далека от окончатель ного завершения. Вместе с тем необходимость такой ра боты очевидна, поскольку затраты средств и умственной энергии окупятся здесь сторицей.
В нашей книге неоднократно подчеркивалось, что вероятностный подход к оценке будущего должен нахо дить все более широкое применение, поскольку фактор неопределенности объективно присущ многим проблемам. Это, конечно, не означает, что вероятностный подход и экспертные оценки обеспечивают решение всех проблем, связанных с анализом перспектив науки, техники и экономики.
Поэтому мы всюду старались подчеркнуть, что вероят ностные, экспертные методы — прежде всего инструмент анализа. Как любой инструмент, они могут оказать по мощь в оценке будущего в опытных руках и нанести не поправимый вред в неумелых. Используя экспертные оценки, не следует уподобляться врачу, который, пове рив в могущество теории вероятности, утешал больного такими словами: «Вообще-то из десяти человек, заболев ших этой болезнью, девять обязательно умирают. Но.вам крупно повезло: до вас у меня лечилось как раз девять
таких |
больных |
и |
все умерли», |
|
||
ty" |
Методы экспертных оценок не могут заменить ни адми |
|||||
нистративных, |
ни |
плановых решений, они лишь |
позво |
|||
л я ю т |
пополнить |
информацию, необходимую для |
подго |
|||
товки |
и принятия |
таких решений. |
|
|||
- |
Широкое |
использование экспертных оценок |
право |
|||
мерно |
только |
там, |
где для анализа будущего невозможно |
применить более точные методы. Перефразируя иронии, ческое замечание Т. Саати в отношении исследования операций, можно сказать, что экспертные методы — это искусство давать неточные ответы на те практические
157
вопросы, иа которые даются еще худшие ответы дру гими методами.
Мы надеемся, что, прочитав эту книгу, читатель при дет к этой мысли самостоятельно. И если то, о чем в ней рассказывалось, сделает его более подготовленным к даль нейшему изучению и применению экспертных методов, авторы будут считать свою задачу решенной.
/ 5 *
О Г Л А В Л Е Н И Е
|
От авторов |
|
|
|
3 |
|
Глава 1. Будущее и эксперты |
|
|
|
7 |
||
|
Зачем познается будущее? |
|
|
7 |
||
|
Неопределенность и прогноз |
|
|
11 |
||
|
Научно-технический прогресс и эксперты . |
. . . |
24 |
|||
Глава 2. |
Проблемы выбора решений и анализ систем |
. . . |
39 |
|||
|
Трудности |
принятия |
решения |
|
|
39 |
|
Элементы |
анализа систем |
|
|
46 |
|
|
Деревья, матрицы и решения . . |
|
|
55 |
||
Глава 3. Принципы экспертных оценок |
|
|
64 |
|||
|
Вероятность и экспертные оценки |
|
|
64 |
||
|
Основные |
правила |
приписания |
вероятностных |
||
|
оценок событиям |
|
|
|
78 |
|
|
Шкалы и показатели |
|
|
|
87 |
|
Глава 4. Методы экспертпых оценок |
|
|
98 у |
|||
|
Проблемы |
подготовки |
экспертизы-- |
|
|
98 |
• |
Анкетирование и опрос экспертов |
|
|
НО |
||
|
Методы упорядочения |
|
|
|
117 |
|
|
Использование экспертных оценок в методах |
|||||
|
прогнозирования и планирования |
|
|
127 |
||
|
Заключение |
|
|
154 |