книги из ГПНТБ / Бешелев, С. Д. Экспертные оценки

построения таких шкал, является тождеством или раз­ личием.

Шкала наименования является наиболее простой фор­ мой приписывания чисел (хотя она в прямом смысле не является измерением). Основное правило здесь заклю­ чается в том, чтобы не приписывать одного и того же числа различным классам или различных чисел одному и тому же классу.

Примерами использования шкалы наименований яв­ ляется нумерация любых предметов определенного класса: автомашин, оборудования, изделий, чертежей и т. п.

Шкала порядка. Числа (или другие символы) приме­ няются здесь для отображения порядка элементов мно­ жества для некоторого отношения (отношений), опреде­ ленного на этом множестве («больше, чем», «меньше, чем»). Принято говорить, что упорядоченные элементыл ранжи­ рованы. Примеры, и.методы ранжирования будут подробно описаны в следующей главе.

Шкала интервалов. Числа служат здесь для отобра­ жения величины различий между свойствами объектов. Интервальные шкалы однозначны с точностью до линей­ ного преобразования: набор измерений {х{} можно пере­ вести в значение х. с помощью линейного преобразования х'{=ах(-\-Ь, где а^О. Основное отношение, характерное для интервальных шкал, есть равенство интервалов или разностей.

Примерами интервальных шкал являются темпера­ турные шкалы по Цельсию и Фаренгейту, различные шкалы календарного времени, где переход от одной шкалы к другой может быть совершен с помощью линейного преобразования.

Шкала-отношений. Числа здесь отображают отноше­ ния величин. При использовании шкал этого вида речь идет об измерениях в повседневном смысле этого слова. Шкалы отношений переводятся из одной в другую с по­ мощью преобразований х'(=сх4, где с > 0 (например, перевод метров в сантиметры или миллиметры); с по­ мощью этих шкал устанавливается равенство отношений.

Основным правилом для установления класса шкалы является возможность преобразования числовых значений при сохранении неизменными выполняемых ею функций. Если численные значения на всех шкалах умножить на постоянную величину (не равную единице), то изменится

90

ких показателей характерно наличие дополнительного источника ошибок, который отсутствует в непосредствен­ ных измерениях, а именно ошибок, обусловленных не­ зависимым измерением переменных X и У.

_ _ Л о т е £ а п ^ ь _ в с л о в а ^ е с т ь средство передачи ..информации о данном явления. Иногда от пока­ зателя требуется получение большего количества инфор­ мации, а при других обстоятельствах в этом нет надобности. В ряде случаев отсутствие части необходимой информа^ ции, зависящее от характера исследуемого явления, не позволяет использовать более «точные» показатели.

Основные виды используемых на практике показате­ лей можно разделить на три группы.

Ассоциативные показатели устанавливают лишь ассо­ циацию между предметами, принадлежащими двум раз­ личным совокупностям. В качестве правила для приписания чисел здесь используется шкала наименований. Сами числа не имеют значения, их можно как угодно варьировать, заменяя одно другим; важно лишь не обо­ значить два предмета одним числом.

Показатели очередности определяют порядок распо­ ложения предметов в совокупности и указывают, какой из двух предметов расположен выше по принятому мас­ штабу. Эти показатели являются однозначными к моно-

91

тонному преобразованию. Ряд чисел может быть заменен другим рядом при условии, что будет соблюдаться "уста­ новленный порядок и при изменении масштаба объекту, первоначально обозначенному большим числом, должно также соответствовать большее число. Хотя выбор рядов чисел здесь достаточно широк, он все-таки гораздо меньше, чем для ассоциативного показателя, поскольку показа­ тель очередности несет в себе гораздо больше информации.

Показатели количества позволяют предвидеть, исходя |из нашпх знаний о свойствах объектов, что даст их сочета­ н и е . Поэтому некоторые количественные показатели на­ зывают аддитивными. Договоренность о том, что мы де­ лаем предсказание посредством сложения, сокращает возможность использования любого измерителя. Пока­ затели количества несут в себе гораздо больше инфор­ мации, чем ассоциативные и порядковые..

Ценность и практическая полезность любого показа­ теля определяется возможностью использования его для выявления наиболее существенных свойств объектов и связей в структуре моделей, удобством применения для предсказания новых состояний исследуемых явлений и процессов и для выбора наиболее рациональных решений. Следовательно, когда речь идет о статистическом измере­ нии какого-либо явления или процесса, то подразуме­ вается определение его количественных характеристик, т. е. построение шкал и вычисление определенных пока­ зателей. Однако нельзя абсолютизировать тот или иной статистический показатель. Необходимо учитывать, что любой показатель имеет вспомогательное значение и хорош лишь постольку, поскольку он помогает анализи­ ровать явление и выбрать наилучший вариант решения.

Когда ученый, специалист или руководитель сталки­ вается с задачей нового типа, он прежде всего пытается установить, встречались ли ему подобные задачи раньше и насколько применимы методы решения, которыми он пользовался, к новой задаче. Таким образом, он вводит в круг возможных подходов к проблеме свой-дичный опыт. Большинство новых проблем требуют подхода с различных точек зрения: с технической, экономической, производственной и т. д., поэтому приходится учитывать

92

наилучшим по его совокупности, часто удается найти только с помощью экспертовт"

Исключительное многообразие, сложность и комплекс­ ность научно-технических проблем и необходимость перспективного планирования работы отраслей, исследо­ вательских организаций и предприятий требуют глубо­ кого анализа направлений развития в каждой организа­ ции (а следовательно, привлечения специалистов)' с уче­ том специфики и характера планируемой деятельности. Разумеется, для этого необходимо ознакомление с тео­ ретическими основами и практическими приемами исполь­ зования экспертных методов. Не следует повторять оши­ бок, .которые делались иногда при эмпирическом под­ ходе к прогнозированию, когда не соблюдались основные правила подготовки прогнозов и не учитывались сущест­ вующие ограничения. «Узкие рамки эмпиризма не могут оградить от ошибок, которые весьма опасны при прогно­ зировании, так как дезориентируют органы управления и планирования» 8 . Поскольку методы экспертных оценок находят все более широкое применение в прогнозировании

Научно-технический прогресс связан с необходи­ мостью выбора одного из множества путей, каждый из которых может быть оценен лишь по некоторым факто­ рам, определяющим успешность получения желаемого результата. Осуществляя такой выбор и сопоставляя возможные пути развития, всегда приходится использо­ вать приближенные показатели и ориентироваться на оценки и предположения специалистов. Использование экспертных методов позволяет лучше сформулировать модель поведения исследуемой системы. Именно эти методы часто оказываются ключом к решению проблемы оценки по ряду критериев,, поскольку они открывают возможности для новых способов извлечения информации 0 состоянии исследуемых объектов.

Вообще говоря, разработка методов, служащих осно­ вой при выборе направлений развития и долгосрочном планировании науки,' техники и производства, имеет своей конечной целью создание подходов, обеспечиваю-

1Д . М . Гвншнанн, В. А. Лисичкин. Системы прогнозирования, планиро­ вания и управления научными песледованпямп и разработками, М., 1968, стр. 7.

93

щих подготовку решения на основе оценок по трем основ- I ным шкалам. Первая шкала должна позволять оценить / будущие результаты работ, вторая — их стоимость,

атретья — время выполнения.

Вкаждой из этих трех систем измерения обычно имеются как поддающиеся количественному выражению, так и качественные и случайные элементы, что заставляет

одновременно с оценкой по трем шкалам учитывать риск в отношении ценности конечных результатов, величины необходимых затрат и сроков выполнения работ.

Трудность точной оценки будущих результатов, затрат и сроков выполнения научно-исследовательских и опытноконструкторских работ в значительной степени зависит от области науки и техники, в которой они производятся. Там, где темпы технического прогресса невелики, ошибки, как правило, относительно меньше. Величина смещения оценок стоимости и времени непосредственно связана и с масштабами исследуемых систем. Естественно, что наибольшие ошибки возникают в сложных и комплексных программах. При этом, как правило, расчетные оценки оказываются значительно заниженными по сравнению

сфактическими затратами средств и времени.

Казалось бы, имея статистические данные о величине смещения в затратах и сроках в прошлом, можно сделать определенные «надбавки» и установить реальные оценки затрат и времени на осуществление перспективных иссле­ дований и разработок. Опыт показывает, однако, что подобный подход часто не оправдывается: при устано­ влении таких надбавок результаты смещаются примерно на ту же величину, что и раньше, но на этот раз уже срав­ нительно с увеличенными оценками, т. е. фактическая продолжительность работ и величина затрат еще более возрастают. Хотя такое смещение не является следствием сознательного, субъективного, процесса, тем не менее несомненно, что именно субъективные факторы играют здесь важную роль.

Параметры, характеризующие результаты работ, за­ траты средств, времени и риск, взаимосвязаны, и поэтому

"их нужно анализировать в комплексе на основе принци­ пов анализа систем, о которых мы рассказали ранее.

Прежде всего необходимо определить набор объектов, подлежащих анализу, и вариантов решения проблемы — альтернатив.

94

Основой для сравнения и выбора таких альтернатив являются цели и критерии. В зависимости от природы исследуемых объектов и информации, необходимой для принятия, решения, можно различать два вида целей и соответствующих критериев.

Цели_н^_зывают_ качест^нными, когда все результаты действий, приводящие к достижению таких целей, оди­ наково хороши и, наоборот, все результаты, не приводя­ щие к их достижению, одинаково неудовлетворительны. Критерий в таких случаях может принимать только два значения: единица (в случае успеха) и нуль (в случае неудачи). Определение и формулирование цели здесь должно предшествовать определению критерия.

Шли_мргут_бы1Ь.д. крляяест.аенньщи. В этих случаях *" критерий должен отражать степень достижения постав­ ленной цели. Формулирование критерия здесь предшест­ вует определению цели.

Очевидно, что одно из необходимых условий выбора заключается в сравнимости альтернатив. Существуют две основные формы ^различия альтернатив: функциональная (разница в виде) и опе_раци.онная (разница в степени). Функциональное различие альтернатив можно иллюстри­ ровать сравнением самолета и поезда как средств транс­ порта. Различие альтернатив по операциям выявляется, например, при. рассмотрении различных конструкций самолета, обеспечивающих решение одной и той же задачи.

Результаты сравнения могут быть рассчитаны, если альтернативы количественно соизмеримы или же оценены экспертами, когда различие менаду ними имеет качествен­ ный характер.

В ряде случаев приходится выбирать критерий и оце­ нивать альтернативы, исходя из реальной полезности результатов для органа, принимающего решение. В зада­ чах, связанных с риском, решение должно быть выражено в средних величинах или в виде математического ожи­ дания.

Ясно, что если бы все результаты можно было предста­ вить в денежном выражении, вопрос об установлении относительной предпочтительности или полезности аль­ тернатив не имел бы смысла, поскольку следовало бы просто сопоставить ожидаемые затраты с предполагае­ мой прибылью для каждой альтернативы и осуществить выбор, исходя из показателя экономической эффектив-

95

ности. Однако новая техника в начальный период ее

пики. . Нельзя точно оценить экономическую эффек­ тивность фундаментальных и некоторых прикладных исследований; невозможно точно рассчитать ее и для военной техники, космических систем, исследований, направленных на улучшение окружающей среды, и т. д.

Разумеется, всегда существует желание выбрать аль­ тернативу, в которой затраты средств, времени и риск создания были бы минимальными, а полученные резуль­ таты — максимальными. Но, к сожалению, на практике подобные альтернативы встречаются весьма редко.

Представим, что необходимо выбрать одну из трех альтернатив А, Б и В. Соотношения между затратами, временем, эффективностью (результатом) и риском могут быть, например, такими, какие показаны в табл. 9.

Конечно, показанные в таблице зависимости не всегда существуют на практике. Однако ясно, что стремление выбрать альтернативу, имеющую самые лучшие резуль­ таты по всем параметрам, сталкивается с большими трудностями, особенно когда некоторые из этих парамет­ ров невозможно определить с помощью точных расчетов.

В таких случаях -полезно вводить ограничения, одним из них может быть перспективный бюджет. Тогда при заданном уровне затрат выбирается альтернатива с на­ илучшей эффективностью. Выбор лучшей альтернативы

96

Глава 4

МЕТОДЫ ЭКСПЕРТНЫХ ОЦЕНОК

Проблемы подготовки экспертизы

Основные трудности при анализе будущего связаны не только с недостатком надежных данных, но и с необхо­ димостью правильной постановки проблем, выбора опти­ мальных критериев и оценки полученных результатов. Эта сторона дела особенно важна, поскольку она меньше всего поддается формализации, а следовательно, так или

миначе связана с использованием мнений ученых, специа-

лым столом, равно как использование несистематизиро­ ванных суждений отдельных специалистов, оказываются при решении многих сложных научных и технических проблем недостаточно эффективными вследствие много­ образия взаимосвязей между основными элементами таких проблем и невозможности охвата их всех. При использо- 1 вании традиционных процедур подготовки решений не­ редко не удается рассмотреть широкий диапазон факто-

. ров, влияющих на функционирование больших систем, учесть весь спектр альтернативных путей решения проблем.

Все это заставляет прибегать к комплектованию групп специалистов, представляющих в качестве экспертов раз­ личные области знаний. Применение групповой экспер­ тизы позволяет не только рассмотреть множество аспек­

98

можно осуществить и другим методом: задаться опреде­ ленным уровнем эффективности (например, показателем надежности или какой-либо другой технической характе­ ристикой) и искать альтернативу, обеспечивающую наи­

и преобразования ее в форму, удобную для принятия решения, зависят как от специфических особенностей исследуемого объекта, так и от полноты и надежности данных. Во многих случаях, когда в момент подготовки решения нет достаточно полных и надежных данных, формализация информации может быть выполнена с по­ мощью экспертов.

>, • Задача эксперта заключается в сравнении и оценке возможных вариантов действий (альтернатив) и выборе наиболее предпочтительного из них в отношении одного или нескольких критериев. Как было показано в этой главе, применение методов теории вероятностей, матема­ тической статистики и использование различных шкал измерения может облегчить решение таких задач.

Для каждого класса проблем существуют наиболее подходящие шкалы измерения и методы выбора наиболее предпочтительной альтернативы. Если для решения стан-^ дартных, часто повторяющихся задач можно использо-*" вать заранее выработанные правила и критерии, а для ряда нестандартных задач — разработать оптимизацион­ ные математические модели, то для проблем, обладающих неопределенностью, должны применяться методы ана­ лиза систем, в которых математические расчеты соче­ таются с использованием субъективных суждений, фор-—

ния, а лишь позволяют упорядочить информацию, облег­

7 С. Д. Бешелев, Ф. Г. Гурвич

Нужно отметить, что наша страна была первой в мире, где под руководством В. И. Ленина группа виднейших ученых работала над созданием общегосударственного плана электрификации — ГОЭЛРО. В. И. Ленин высоко ценил специалистов и ученых, способных. реально пред­ видеть будущее научно-технического развития. При раз­ работке различных вариантов плана ГОЭЛРО широко использовались мнения экспертов, а также физические мо­ дели, дающие представление о проектируемых системах. Таким образом, именно нашей стране принадлежит не­ сомненный приоритет в использовании методов обще­ государственного долгосрочного прогнозирования, осно­ ванного на экспертных оценках и моделировании.

Надежность решений, принимаемых на основе сужде-| . ний групп экспертов, в значительной степени зависит! от организации и направленности процедуры сбора, ана-| лиза и математической обработки этих суждений.

Решения групп экспертов существенно отличаются от | решений, которые формируются в результате дискуссий ' на заседаниях комиссий, где мнение авторитетных или .

Это, конечно, не означает, что индивидуальными мне­ ниями специалистов и решениями комиссий следует пре­ небрегать. Однако информация, полученная от группы

на основе анализа данных о прошлом с учетом предпо­ лагаемых потенциальных возможностей и внешних фак­ торов. Подобный подход к анализу будущего помогает установить все, «что можно или нельзя сделать», и носит название исследовательского.

Существует и другой подход — нормативный. В этом случае анализ направлен на установление желательных целей и потребностей, а оценка обращена «назад, к на­ стоящему», т, е. направлена на то, чтобы установить, какие возможности существуют сейчас для достижения поставленных целей и какие действия необходимо пред­ принять.

Субъективные оценки применяются как в исследова­ тельском, так и в нормативном подходе. Используя такие

7* 99