2.3.8. Методы обработки экспертной информации, оценка компе­тентности и согласованности мнений экспертов

Основными целями обра­ботки экспертной информации являются получение обобщенных данных и выявление новой информа­ции, содержащейся в скрытой форме в экспертных оценках [68].

В зависимости от целей экспертного оценивания и выбранного метода опроса при обработке результатов опроса возникают следующие задачи:

• построение обобщенной оценки альтернатив на основе индивидуаль­ных оценок экспертов;

• построение обобщенной оценки на основе парного сравнения альтерна­тив каждым экспертом;

• определение относительных весов альтернатив;

• определение согласованности мнений экспертов;

• определение зависимостей между ранжировками;

• оценка надежности результатов обработки.

Рассмотрим алгоритмы обработки результатов экспертного оценивания множества альтернатив. Пусть экспертов оценили альтернатив по по­казателям. Результаты оценивания представим в виде величин где – номер эксперта ; j – номер альтернативы ; k – номер показателя (признака) сравнения. Если оценка альтернатив произведена методом ранжирования, то величины представляют собой ранги. Если оценка альтернатив выполнена методом непосредственного оценивания, то величины представляют собой числа из некоторого отрезка числовой оси или баллы.

Рассмотрим случай, когда величины получены методом непосредственного оценивания, т. е. являются числами или баллами. Для получе­ния групповой оценки альтернатив в этом случае можно воспользоваться средним значением оценки каждого объекта:

где – групповая оценка j-й альтернативы; – весовые коэффициенты показателей сравнения альтернатив; — коэффициенты компетентности экспертов.

Обычно используют нормированные коэффициенты весов показателей и компетентности экспертов:

Весовые коэффициенты показателей могут быть определены эксперт­ным путем. Если – коэффициент веса k-го показателя, даваемый -м экс­пертом, то средний коэффициент веса k-го показателя по всем экспертам

.

Коэффициенты компетентности экспертов можно вычислить по апосте­риорным данным, т.е. по результатам оценивания альтернатив. Основной идеей этого вычисления является предположение о том, что компетентность экспертов должна оцениваться по степени согласованности их оценок с групповой оценкой объектов.

Пусть экспертов оценили альтернатив, используя одну и ту же шкалу интервалов. Тогда имеем матрицу оценок где – оценка -гo эксперта для j-го объекта.

Коэффициенты компетентности экспертов могут быть вычислены с ис­пользованием следующего итеративного алгоритма.

Первоначально на шаге t=0 значения коэффициентов компетентности равны между собой: .

Затем на шагах коэффициенты компетентности корректируются по формулам:

Рассмотрим теперь случай, когда экспертов оценили альтернатив , , используя одну и ту же шкалу порядка. Тогда имеем матрицу ран­гов где – ранговая оценка i-го эксперта для -й альтернативы. Обработка результатов ранжирования заключается в по­строении обобщенной ранжировки. Для построения такой ранжировки введем пространство ранжировок и метрику в этом пространстве. Каждая ранжировка множества альтернатив -м экспертом есть точка в пространстве ранжировок.

Ранжировку можно представить в виде матрицы парных сравнений элементы которой определяются следующим образом:

Очевидно, что , так как каждая альтернатива эквивалентна самой себе. Элементы матрицы антисимметричны: . Если все ранжи­руемые объекты эквивалентны, то все элементы матрицы парных сравнений равны нулю. Будем считать, что точка в пространстве ранжировок, соответ­ствующая такой матрице, является началом отсчета.

Метрика при выполнении некоторых аксиом (неотрицательнос­ти, независимости от перестановок, перенумерации объектов, правила тре­угольника и др.) определяется по известной формуле:

Используя введенную метрику, можно определить обобщенную ран­жировку как точку, которая наилучшим образом согласуется с точками, представляющими собой ранжировки экспертов. На практике наилучшее согласование чаще всего определяется как медиана или средняя ранжировка.

Медиана — точка в пространстве ранжировок, сумма расстояний от которой до всех точек — ранжировок экспертов является минимальной:

Средняя ранжировка определяется как точка, сумма квадратов расстояний от которой до всех точек — ранжировок экспертов является минимальной:

Если учитывается компетентность экспертов, то медиана и средняя ран­жировка определяются из условий

где — коэффициент компетентности z'-го эксперта.

Если ранжирование объектов проводится по нескольким показателям, то сначала определяется медиана по всем показателям для каждого эксперта, а затем — медиана по множеству экспертов.

Основным недостатком рассмотренного выше подхода определения обобщенной ранжировки является трудоемкость расчетов. Естественный способ отыскания или перебором всех точек пространства ранжиро­вок с увеличением количества объектов также становится неприемлемым, поскольку при этом очень быстро возрастает размерность пространства и, следовательно, объем вычислений.

Расхождение обобщенных ранжировок при различных критериях возни­кает при малом числе экспертов и несогласованности их оценок. Если мне­ния экспертов близки, то обобщенные ранжировки, построенные по крите­риям медианы и среднего значения, будут совпадать.

Сложность вычисления медианы или средней ранжировки привела к не­обходимости применения более простых методов построения обобщенной ранжировки.

1. Метод суммирования рангов заключается в ранжировании объектов по величинам сумм рангов , полученных каждым объектом от всех экспертов. Для матрицы ранжировок составляются суммы

Далее объекты упорядочиваются в порядке возрастания суммы рангов.

2. Еще одним более обоснованным в теоретическом отношении подходом к построению обобщенной ранжировки является переход от матрицы ранжи­ровок к матрице парных сравнений и вычисление собственного вектора, соот­ветствующего максимальному собственному числу этой матрицы. Упорядо­чение объектов проводится по величине компонентов собственного вектора.

Рассмотрим вопросы оценки согласованности мнений экспертов. При обработке результатов ранжирования часто возникает задача опре­деления зависимости между ранжировками двух и более экспертов, задача оценки связи между достижением различных целей при решении одной и той же совокупности проблем или задача оценки взаимосвязи между разны­ми признаками.

Решение данных задач проводится с помощью оценки ранговой корреля­ции. Под ранговой корреляцией понимается статистическая связь между ран­жировками. Эта связь анализируется на основании исходных статистичес­ких данных, представленных ранжировками экспертов альтернатив в виде матрицы , где – ранговая оценка -го экс­перта для -й альтернативы. Статистический анализ дает ответ на вопрос о том, есть ли какая-то согласованность (или связь) между упорядочениями анализируемых альтернатив.

Рассмотрим случай оценки связи между ранжировками двух экспертов -м и -м экспертами . В этих задачах мерой взаимосвязи может служить коэффициент ранговой корреляции, например, Спирмена.

Представим вычисление коэффициента ранговой корреляции Спирмена в виде следующего алгоритма.

1. Выполнить ранжирование оцениваемых альтернатив двумя экспертами:

где – векторы рангов, выставляемых соответственно -м и -м эксперта­ми.

2. Вычислить коэффициент ранговой корреляции Спирмена :

где — показатель связанных рангов в i-й ранжировке; – число групп равных рангов в -й ранжировке; – число равных рангов в -й группе свя­занных рангов в -й ранжировке.

Коэффициент корреляции Спирмена изменяется от –1 до +1. Равенство единице достигается при одинаковых ранжировках, те. когда . Зна­чение имеет место при противоположных ранжировках. При равен­стве коэффициента корреляции нулю ранжировки считаются линейно неза­висимыми.

Проверка статистически значимого отличия от нуля рангового коэффи­циента корреляции проводится при «не слишком малых» n (n > 10) и за­данном уровне значимости критерия а с помощью неравенства

где -ная точка распределения Стьюдента с степенями сво­боды; (табл. 1П, Приложение).

Выполнение неравенства (4) приводит к необходимости отвергнуть ги­потезу об отсутствии статистически значимой ранговой корреляционной связи.

В случае небольших объемов выборок при статистическая про­верка гипотезы об отсутствии ранговой корреляционной связи проводится с помощью специальных таблиц. Таблица 2П (см. Приложение) значений вспомогательной величины позволяет при малых построить то порого­вое значение , при превышении которого по абсолютной величине ко­эффициентом Спирмена , следует признать наличие статистически значи­мой связи между сравниваемыми ранжировками (отвергается гипотеза об отсутствии корреляционной связи). Задавшись уровнем значимости критерия а и числом сравниваемых альтернатив , определяем из табл. 2П величину , соответствующую заданному и значению (или приблизительно равному ). Тогда

где .

Пример. Два эксперта провели ранжирование 10 альтернатив (табл. 2.3). Вычислить коэффициент ранговой корреляции Спирмена.

Таблица 2.3

Ранжировка 10 альтернатив двумя экспертами

Эксперт	Альтернатива (режимный параметр)
	1	2	3	4	5	6	7	8	9	10
	2	3	1	4	6	5	9	7	8	10

В данном примере , связанные ранги отсутствуют . Вы­числим выборочный коэффициент корреляции Спирмена:

=

= 0,915

Определим значимость полученной оценки при . При (величина определена по табл. 2П), по формуле (5) получим

Поскольку выборочное значение коэффициента ранговой корреляции Спирмена превышает пороговое значение ( ), то следует признать наличие статистически значимой связи между сравнива­емыми ранжировками (отвергается гипотеза об отсутствии корреляционной связи) и оценка коэффициента ранговой корреляции Спирмена является значимой.

Перейдем к рассмотрению вопросов оценки согласованности мнений эк­спертов, когда число экспертов больше двух.

При ранжировании альтернатив эксперты обычно расходятся во мнени­ях. В связи с этим возникает необходимость в количественной оценке степе­ни согласия экспертов. Получение количественной меры согласованности мнений экспертов позволяет более обоснованно интерпретировать причины расхождения мнений. В качестве меры согласованности мнений группы экс­пертов часто используют дисперсионный коэффициент конкордации (или согласованности) Кэндалла и энтропийный коэффициент конкордации.

Коэффициент конкордации Кэндалла. Пусть – матрица результа­тов ранжирования, полученная в результате оценки альтернатив экспер­тами, т. е. – ранг, присеваемый i-м экспертом -й альтернативе.

Составим суммы рангов по каждому столбцу. В результате получим вектор с компонентами

Величины рассмотрим как реализации случайной величины и найдем оценку дисперсии. Как известно, оптимальная по критерию минимума сред­ней квадратической ошибки оценка дисперсии определяется формулой:

где оценка математического ожидания:

Дисперсионный коэффициент конкордации равен отношению оценки дисперсии к максимальному значению этой оценки:

где , так как .

Для случая отсутствия связанных рангов (все альтернативы разные) дис­персионный коэффициент конкордации определяют по формуле Кэндалла

Если в ранжировках имеются связанные ранги, то максимальное значе­ние дисперсии в знаменателе формулы (7) становится меньше, чем при отсутствии связанных рангов. При наличии связанных рангов дисперсион­ный коэффициент конкордации вычисляется по следующей формуле:

где – показатель связанных рангов в i-й ранжировке; – число групп равных рангов в -й ранжировке; — число равных рангов в -й группе свя­занных рангов в -й ранжировке.

Если совпадающих рангов нет, то и, следовательно, . В этом случае формула (8) совпадает с формулой (7).

Коэффициент конкордации равен единице, если все ранжировки экс­пертов одинаковы, и равен нулю, если все ранжировки различны, т.е. совер­шенно нет совпадения.

Коэффициент конкордации, вычисляемый по формуле (7) или (8), является выборочной оценкой истинного (теоретического) значения коэф­фициента и, следовательно, представляет собой случайную величину. Для определения значимости оценки коэффициента конкордации необходимо знать распределение частот для разных значений числа экспертов m и ко­личества альтернатив п.

Для малых значений ( ) с помощью табл. 3П-6П значений , приведенных в Приложении, где

может быть получен ответ па вопрос о том, как сильно могут отклоняться от нуля выборочные значения коэффициента конкордации в ситуации, когда значение теоретического коэффициента конкордации свиде­тельствует о полном отсутствии связи между анализируемыми ранжиров­ками.

«Входами» в указанные таблицы является тройка чисел ( ), «вы­ходом» — вероятность того, что величина может быть такой, какой она является в рассматриваемой выборке, или большей в условиях отсутствия связи между ранжировками в генеральной совокупности. Если окажется, что эта вероятность меньше принятой величины уровня значимости кри­терия (например, ), т. е. , то гипотезу об отсутствии связи следует отвергнуть, т. е. признать статистическую значимость анализируе­мой связи.

Таблица 7П критических значений коэффициента конкордации по­строена несколько иначе. В ней при уровне значимости и в соответ­ствии со «входами» ( ) даны «критические» значения величины , т. е. такие значения, при превышении которых следует отвергать гипотезу об от­сутствии связей между ранжировками (признавать их статистическую зна­чимость).

Пример. Три эксперта проранжировали пять альтернатив (табл. 2.4). Оценить согласованность мнений экспертов.

Таблица 2.4

Ранжировка пяти альтернатив тремя экспертами

Эксперт	Фактор
	4	2	3	1	5
	1	2	4	3	5
	1	2	5	3	4

В данном примере . Вычислим и

Из табл. 6П (см. Приложение) для при находим . Если выбрать уровень значимости критерия , то и гипотезу об отсутствии связи следует отвергнуть, т. е. признать статистическую значимость анализируемой связи и считать, что мнения экспертов согласованны. Если уровень значимости критерия , то и гипотезу об отсутствии связи между ранжировками следует принять, считая при этом, что мнения экспертов несогласованны.

Из табл. 7П (см. Приложение) для и уровня значимости критерия находим . Так как , то гипотезу об отсутствии связи между ранжировками следует принять и считать, что мнения экспертов несогласованны.

Для уровня значимости критерия из табл. 7П для находим . Так как то и в этом случае гипотезу об отсутствии связи между ранжировками следует принять и считать, что мне­ния экспертов несогласованны.

Пример. Пусть три эксперта проранжировали пять альтернатив (табл. 2.5). Требуется оценить согласованность мнений экспертов.

Таблица 2.5

Ранжировка пяти альтернатив тремя экспертами

Эксперт	Фактор
	5	3	4	1,5	1,5
	4	2	5	2	2
	3,5	3,5	5	2	1

В данном примере и в отличие от предыдущего примера есть связанные ранги. Вычислим и :

Из табл. 6П (см. Приложение) для при находим . Если выбрать уровень значимости критерия , то и гипотезу об отсутствии связи следует отвергнуть, т.е. признать статистическую значимость анализируемой связи и считать, что мнения экспертов согласованны.

Из табл. 7П (см. Приложение) для и уровня значимости критерия находим . Так как , то гипотезу об отсутствии связи между ранжировками следует отвергнуть и считать, что мнения экспертов согласованны.

Для уровня значимости из табл. 7П находим . Так как , то гипотезу об отсутствии связи между ранжировками сле­дует принять и считать, что мнения экспертов несогласованны.

Для больших значений и можно использовать известные статистики. При числе альтернатив оценка значимости коэффициента конкордации может быть проведена по критерию . Величина имеет -распределение с степенями свободы. Для оценки значимости выбирают уровень значимости критерия (часто равный 0,05), определяют по табл. 8П при величину . Если то гипотезу об отсутствии связи между ранжировками следует отвергнуть (т.е. стати­стически значимое) и считать, что ранжировки связаны.

Следующий пример иллюстрирует то, как оценивается значимость коэффициента конкордации Кэндалла по критерию .

Пример. Пяти экспертам было предложено проранжировать 10 альтернатив. Результаты опроса приведены в табл. 2.6. Оценить согласованность мнений экспертов.

Таблица 2.6

Ранжировка 10 альтернатив пятью экспертами

Эксперт	Альтернатива (режимный параметр)
	1	3	4,5	4,5	6,5	6,5	9	10	2	8
	1,5	1,5	5	6	7,5	7,5	9,5	9,5	3	4
	2	2	4,5	4,5	8,5	8,5	8,5	8,5	2	6
	1	3	4	5	7,5	7,5	9,5	9,5	2	6
	1,5	1,5	5,5	5,5	8	9	9	10	3,5	3,5

В данном примере и есть связанные ранги. Вычислим и . Для вычисления дисперсионного коэффициента конкордации опреде­лим сначала сумму квадратов отклонений:

Поскольку в ранжировках имеются связанные ранги, то вычисление ко­эффициента конкордации выполним по формуле (8). Сначала найдем ве­личины . Затем рассчитаем коэф­фициент конкордации:

Оценим значимость коэффициента конкордации. В данном случае число степеней свободы . Табличное значение для числа степе­ней свободы и уровня значимости равно (см. табл. П8).

Вычислим выборочное значение :

Поскольку значение гипотеза о согласованнос­ти мнений экспертов (ранжировок) принимается.

Таким образом, в результате экспертного оценивания получили группо­вую ранжировку режимных параметров по степени их влияния на выходы целевых продуктов.

Энтропийный коэффициент конкордации. Этот коэффициент вычисляют по формуле

где – энтропия:

— максимальное значение энтропии; – оценки вероятности присво­ения i-го ранга -му объекту. Эти оценки вероятностей вычисляются в виде отношения количества экспертов , приписавших альтернативе ранг , к общему числу экспертов :

Максимальное значение энтропии достигается при равновероятном распределении рангов, т. е. когда . Тогда

Подставив это соотношение в формулу (9), получим

Значения энтропийного коэффициента конкордации изменяются в ин­тервале . При распределение альтернатив по рангам равновероятно, поскольку в этом случае . Данный случай может быть обусловлен либо невозможностью ранжирования объектов по сформу­лированной совокупности показателей, либо полной несогласованностью мнений экспертов. Значение достигается при , когда все эксперты дают одинаковую ранжировку.

Сравнительное оценивание дисперсионного и энтропийного коэффи­циентов конкордации показывает, что эти коэффициенты дают примерно одинаковую оценку согласованности мнений экспертов при близких ранжи­ровках. Однако если, например, вся группа экспертов разделилась на под­группы, причем ранжировки в этих подгруппах противоположны, то коэф­фициенты конкордации имеют разные значения. В таких случаях энтропий­ный коэффициент конкордации позволяет зафиксировать факт разделения мнений на противоположные группы. Объем вычислений для энтропийного коэффициента конкордации несколько больше, чем для дисперсионного ко­эффициента конкордации.

Обработка экспертной информации, полученной на основе метода парных сравнений. Одним из вопросов, возникающих при обработке экс­пертной информации, является следующий: каким образом получить оцен­ку всей совокупности альтернатив на основе частных результатов парного сравнения, не накладывая условия транзитивности? Рассмотрим алгоритм решения этой задачи.

Пусть экспертов проводят оценивание всех пар альтернатив, давая чис­ловую оценку:

Если при оценивании пары альтернатив и экспертов высказа­лись в пользу предпочтения экспертов высказались противопо­ложным образом – экспертов считают эти альтернативы равно­ценными, то оценка математического ожидания случайной величины

Общее количество экспертов равно Определив отсюда и подставив его в предыдущую формулу, получим

Очевидно, что . Совокупность величин образует матрицу на основе которой можно построить ранжировку всех альтернатив и определить коэффициенты относительной важности альтернатив.

Вектор коэффициентов относительной важности альтернатив порядка вычисляют по формуле

где

– матрица математических ожиданий оценок пар альтернатив; - вектор коэффициентов относительной важности альтерна­тив порядка

Коэффициенты относительной важности первого порядка являются относительными суммами элементов строк матрицы . Действительно, если , то с учетом формул (11) и (12) получим

Коэффициенты относительной важности второго порядка ( ) явля­ются относительными суммами элементов строк матрицы

Из теоремы Перрона-Фробенпуса следует утверждение: если матрица неотрицательна и неразложима, то при увеличении порядка величина сходится к максимальному собственному числу матрицы :

а вектор коэффициентов относительной важности объектов стремится к собственному вектору к матрицы X, соответствующему максимальному соб­ственному числу

Как известно, собственные числа и собственные векторы матрицы нахо­дят путем решения алгебраического уравнения

Компоненты собственного вектора являются коэффициентами относи­тельной важности объектов, измеренными в шкале отношений.

На практике коэффициенты относительной важности альтернатив про­ще вычислять с помощью последовательной процедуры по формуле (11) при Обычно трех-четырех последовательных вычислений доста­точно, чтобы получить значения и , близкие к предельным значениям, оп­ределяемым соотношениями (13), (14).

Напомним некоторые понятия, необходимые для ранжирования оцени­ваемых альтернатив.

Матрица называется неотрицательной, если все ее элементы неотрица­тельные. Рассмотренная выше матрица математических ожиданий неотри­цательная, поскольку все ее элементы (10) неотрицательны.

Матрица называется неразложимой, если перестановкой рядов (строк и одноименных столбцов) ее нельзя привести к треугольному виду:

где - неразложимые подматрицы матрицы .

Представление матрицы в виде (15) означает разбиение альтернатив на доминирующих множеств:

При матрица неразложима, т.е. существует только одно домини­рующее множество, совпадающее с исходным множеством альтернатив.

Разложимость матрицы означает, что среди экспертов имеются большие разногласия в оценке альтернатив.

Если матрица неразложима, то вычисление коэффициентов относи­тельной важности позволяет определить, во сколько раз одна альтернатива превышает другую по сравниваемым показателям. Вычисле­ние коэффициентов относительной важности альтернатив позволяет одно­временно построить ранжировку альтернатив. Альтернативы ранжируются так, что первой считается альтернатива, у которой коэффициент относи­тельной важности наибольший. Полная ранжировка определяется цепочкой неравенств

из которой следует

.

Если матрица X является разложимой, то определить коэффициенты от­носительной важности можно только для каждого множества . Для каж­дой подматрицы определяется максимальное собственное число и соот­ветствующий этому числу собственный вектор. Компоненты полученного собственного вектора являются коэффициентами относительной важности альтернатив, входящих в множество . По этим коэффициентам осущест­вляется ранжирование альтернатив данного множества.

Таким образом, можно сделать следующий вывод: если неразложима, то но результатам парного сравнения объектов возможно измерение предпо­чтительности альтернатив как в шкале интервалов, так и в шкале порядка (ранжирование); если же матрица разложима, то возможно только ранжи­рование альтернатив.