7.5. Метод априорного ранжирования

Метод «Априорного ранжирования» основывается на индивидуальной экспертной оценке факторов группой специалистов, компетентных в исследуемой области. Название «априорной» экспертиза получила в связи с тем, что при оценке тех или иных факторов (меро-приятий) или анализе производственных ситуаций для данной системы (предприятия) эксперты пользуются прежним опытом или взглядами.

Априори (от латинского – из предшествующего) – понятия логики и теории познаний, характеризующие знание, предшествующее опыту и независимое от него [13].

Учитывая определенную субъективность метода при проведении экспертизы, важное значение приобретает качество ее проведения и подбор группы экспертов. Практическая реализации метода априорного ранжирования включает следующую последовательность работ (этапов) (рис. 7.5).

На основании анализа литературных источников, обобщения имею-щегося опыта, опроса специалистов, дерева систем и т.д. организацией или специалистом, проводящим экспертизу, определяется предварительный перечень факторов, требующих ранжирования. При этом количество факторов выбирается с определенным резервом, обеспечивающим выбор именно таких факторов, по которым эксперты наиболее компетентны и по которым эксперты будут осуществлять ранжирование.

Окончательный перечень факторов заносится в анкету, желательно в табличной форме. Анкета разрабатывается таким образом, чтобы эксперты могли ей пользоваться (заполнять) беспрепятственно. Для этого анкета содержит необходимые пояснения и инструкции, а также примеры заполнения.

Комплектация группы экспертов и проверка их компетентности яв-ляется важнейшим этапом априорного ранжирования. При этом эксперты должны быть специалистами в рассматриваемой области деятельности, но не быть лично заинтересованными в результатах экспертизы.

Проверка компетентности экспертов может проводиться:

с помощью тестов;

методом самооценки;

оценкой эталонных факторов.

При тестировании группе экспертов задается несколько воп-росов из области, связанной с предстоящим ранжированием. Процент пра-вильных ответов и служит мерой компетентности эксперта. Экспертная группа формируется из экспертов, давших наибольший процент правиль-ных ответов.

Метод самооценки заключается в том, что каждый канди-дат в эксперты с использованием предоставленной ему шкалы оценивает свои знания по предложенным ему вопросам, которые являются общими для всех членов экспертной группы. Максимальным балом эксперт оцени-вает вопрос, который он знает лучше других, а минимальным – хуже дру-гих. Все остальные вопросы он оценивает баллами от максимального до минимального. Далее выводится самооценка каждого эксперта, а затем и подгруппы экспертов.

Определяется перечень факторов, требующих ранжирования

Составляется анкета

Определяется предварительный состав группы экспертов

Проверяется компетентность экспертов, уточняется состав экспертной группы

С помощью тестов

Методом самооценки

Оценкой эталонных факторов

Проводится инструктаж экспертов

Осуществляется индивидуальная оценка экспертами предложенных факторов

Обрабатываются результаты экспертного опроса

Разрабатываются предложения или формулируются проекты решений

Рис. 7.5. Основные этапы априорного ранжирования

Этот метод позволяет также при необходимости создавать группы для экспертизы конкретных вопросов, в которых эти эксперты оказались наиболее компетентными (получили наибольшие баллы самооценки).

Метод оценки эталонных факторов заключается в том, что кандидатам в эксперты предлагается проранжировать набор фактов, событий или объектов, истинная значимость которых организаторам опроса известна, а экспертам неизвестна. В окончательную группу экспертов включаются те, кто удачнее проранжировал набор фактов.

После формирования группы проводится устный или письменный инструктаж экспертов. Основное внимание в процессе инструктажа обращается на правильность заполнения анкеты.

И ндивидуальная оценка факторов осуществляется экспертами следующим образом. В процессе оценки они располагают факторы в порядке убывания степени их влияния на результирующий признак или объект исследования, являющийся целевой функцией. При этом фактор, имеющий наибольшее влияние, оценивается первым рангом (цифрой 1). Фактору, имеющему меньшее значение, присваивается второй ранг (цифра 2) и т.д.

После заполнения экспертами всех анкет организаторами экспертизы производится обработка результатов экспертного опроса по определенной методике.

По результатам экспертизы организацией или специалистом, проводившим экспертный опрос, для руководства системы (предприятия) разрабатываются предложения по решению конкретных проблем, формируются проекты решений или результаты экспертизы передаются без комментариев.

Практическое применение метода априорного ранжирования для принятия решений по совершенствованию организации производства ТО и ремонта машин рассмотрим на примере ранжирования подсистем первого уровня дерева систем организации технического сервиса (Рис. 8.7.).

Используя метод априорного ранжирования, определим те факторы (подсистемы) первого уровня, влияя на которые можно наиболее эффективно добиваться совершенствования подсистемы технического сервиса.

Для этого организаторами экспертизы формируется группа экспертов в количестве 8 человек (m = 8) и выбираются для анализа следующие четыре подсистемы (фактора) (к = 4) первого уровня дерева систем подсистемы технического сервиса:

С¹₀₁ – производственная структура (производственный процесс) подсистемы технического сервиса;

С¹₀₂ – организационная структура подсистемы технического сервиса;

С¹₀₃ – система информационного обеспечения подсистемы технического сервиса;

С¹₀₄ - организация функционирования подсистемы технического сервиса.

Далее каждый эксперт независимо от других присваивает свои ранги а_km каждому фактору и передает результаты экспертизы руководителю группы экспертов. Например, первый эксперт (m = 1) оценил первый фактор (к = 1) рангом а₁₁ = 3, второй фактор (к = 2) оценил рангом а₂₁ = 4, третий фактор (к = 3) рангом а₃₁ = 2 и четвертый фактор (к = 4) рангом а₄₁ = 1 (таблица 8.3).

Можно рекомендовать следующую последовательность обработки результатов априорного ранжирования.

1). Индивидуальные оценки всех экспертов сводятся в таблицу 8.3, например, оценки (ранги) всех восьми экспертов по первому фактору получились равными:

3; 1; 1; 1; 2; 1; 3; 1.

2). Далее определяется сумма рангов всех экспертов по каждому фактору по формуле

Δ _k = , (7.2)

где m – число экспертов;

k – число факторов.

По первому фактору сумма рангов всех экспертов равна (табл. 8.3)

Δ ₁ = = 3+1+1+1+2+1+3+1 = 13,

где а_1m – ранг, присвоенный 1 фактору m – м экспертом.

Аналогично, определяется сумма рангов по 2 … 4 факторам, и результаты заносятся в табл. 8.3.

3). Проверяется правильность заполнения таблицы 4.3 по трем критериям:

во-первых, максимальный ранг по конкретному фактору (а_km) не может быть больше числа сравниваемых факторов k = 4;

во-вторых, максимальное значение суммы рангов по любому фактору не может быть больше произведения максимально возможного ранга на число экспертов, т.е.

(Δ_k)_max (a_km) _max∙ m (7.3)

В нашем примере (Δ_k)_max = Δ₃ = 30 32 = 4∙8;

в-третьих , минимально возможная сумма рангов по любому фактору не может быть меньше минимального ранга (1), умноженного на число экспертов, т.е.

(Δ_k)_min (a_km) _min∙ m (7.4)

В нашем примере (Δ_k)_min = Δ₁ = 13 > 8 = 1·8.

Проверка показала, что таблица составлена правильно, так как все три условия соблюдены.

4). Вычисляется общая сумма рангов всех экспертов

=13+21+30+16=80. (7.5)

5). Определяется средняя сумма рангов

= = = 20. (7.6)

6). Проверяется правильность определения суммы рангов по формуле:

= m∙k∙ā, (7.7)

где ā – средний ранг оценки факторов каждым экспертом, определяемый из выражения:

ā = = = 2,5. (7.8)

Тогда сумма рангов будет равна

=8∙4∙2,5 = 80,

что соответствует данным таблицы 8.3.

7). Определяется отклонение суммы рангов по каждому фактору от средней суммы рангов по формуле

. (7.9)

Для первого фактора получается

= 13 – 20 = - 7.

Аналогично определяется отклонение суммы рангов для 2… 4 факторов (табл. 8.3).

8). Оценивается степень согласованности мнений экспертов с помощью коэффициента конкордации W, который определяется по формуле

W = , (7.10)

где k – число факторов, в нашем примере к = 4;

m – число экспертов, в нашем примере m = 8;

S – cумма квадратов отклонений суммы рангов каждого фактора от средней суммы рангов, определяется из выражения

S = = 49 + 1+ 100 + 16 = 166, (7.11)

отсюда коэффициент конкордации будет равен

W = = 0,52.

Коэффициент конкордации, характеризующий степень согласованности мнений экспертов, может изменяться от 0 до 1. Если он существенно отличается от нуля, например W 0,5, то можно считать, что между мнениями экспертов имеется определенное согласие. Если коэффициент конкордации недостаточен (W<0,5), то организаторами экспертизы проводится анализ причин низкой согласованности мнений экспертов. Такими причинами в общем случае могут быть:

неправильный выбор факторов;

подбор некомпетентных экспертов;

сговор между экспертами;

нечеткая постановка вопросов;

некачественный инструктаж экспертов.

В зависимости от результатов анализа принимается решение о корректировании проведения экспертизы, например, по следующим направлениям:

передача ее проведения другой группе специалистов;

изменение инструкций;

корректировка состава факторов;

привлечение других экспертов.

Проводить повторную экспертизу прежним составом не рекомендуется.

9). При коэффициенте конкордации W 0,5, как получилось в нашем примере, проверяется гипотеза о неслучайности согласия экспертов. Для этого используется критерий Пирсона (χ – квадрат), расчетное значение которого определяется по формуле

χ²_p=W∙ m(k-1), (7.12)

где (k-1) – число степеней свободы, а k – количество ранжируемых факторов.

Расчетное значение коэффициента χ_p сравнивается с табличным χ_т , определенным при числе степеней свободы k-1.

Если расчетное значение критерия Пирсона больше табличного

χ ²_p > χ ²_т, (7.13)

а коэффициент конкордации W > 0,5, то это свидетельствует о наличии существенного сходства мнений экспертов, значимости коэффициента конкордации и неслучайности совпадения мнений экспертов.

В нашем примере получим

χ ²_p = 0,52∙8∙ (4-1) = 12,48.

Табличное значение коэффициента Пирсона для этих условий равно [3]:

χ ²_т = 11,34 (при (k-1) = 3, p = 0,01).

Таким образом, результаты экспертизы могут быть признаны удовлетворительными и адекватными, так как

12,48>11,34.

10). По полученной для всех факторов сумме рангов (Δ_К) производится ранжирование факторов; согласно принятой методике ранжирования минимальной сумме рангов (Δ_К)_min соответствует наиболее важный фактор, которому присваивается первое место М = 1, далее места рангов располагаются по мере возрастания суммы рангов.

Таким образом, по результатам априорного ранжирования анализируемые подсистемы (факторы) по их влиянию на совершенствование организации производства ТО ремонта машин располагаются следующим образом:

1 место – производственная структура (производственный процесс) ( к₁ = 13);

2 место – организация функционирования ( к₄ = 16);

3 место – организационная структура ( к₂ = 21);

4 место – информационная система и комплекс технических средств

управления ( к₃ = 30).

11). Для наглядного представления весомости факторов (подсистем) строится априорная диаграмма рангов (рис 7.6).

12). Определяются удельные веса факторов (подсистем) по их влиянию на целевой показатель, по формуле

q_{k =} , (7.14)

где M – место, занимаемое фактором при ранжировании;

К – количество факторов.

Фактор, занявший первое место (М = 1), имеет вес

q₁ = = 0,4.

Аналогично определяются веса остальных факторов (табл. 8.3). При этом очевидно, что должно соблюдаться условие:

= 1,0. (7.15)

Априорная диаграмма рангов наглядно показывает наиболее существенные системы (факторы), с точки зрения их влияния на конечный результат.

Средняя сумма рангов

∆ =

30

30

20

16

21

13

20

10

С¹₀₁

С¹₀₄

С¹₀₂

С¹₀₃

факторы (подсистемы)

Наиболее действенные факторы (подсистемы)

Рис. 7.6. Априорная диаграмма рангов

В нашем примере к ним относятся те, у которых

= 20, т.е.

С¹₀₁ – производственная структура подсистемы технического сервиса;

С¹₀₄ – организация функционирования подсистемы технического сервиса.