1.2.2. Взаимооценка
Сущность метода взаимооценки (коллективной взаимной оценки, коллективной оценки, групповой оценки) заключается в том, что в целях уменьшения субъективности оценка компетентности каждого эксперта определяется как средняя из оценок, назначенных всеми остальными экспертами (одним из первых использовался Реднером). Обоснованность применения взаимооценки вытекает из того обстоятельства, что существует достаточно тесная связь между профессиональной компетенцией специалиста и той усредненной оценкой, которую он получает от своих коллег по работе.
Описанные в литературе способы взаимооценки (например, так называемый «репутационный» метод или метод, применявшийся во ВНИИТЭ) несколько различаясь в деталях, по сути, представляют собой идентичные процедуры: каждый эксперт дает количественную оценку всем остальным экспертам. Затем определяется средняя оценка каждого эксперта. Однако опыт проведения взаимооценки показывает, что подобная процедура является достаточно легкой для выполнения только при ограниченном количестве членов экспертной группы (N < 15).
При N 15 человек рекомендуется следующая процедура определения взаимооценки.
На специальном бланке (см. табл. 1.3.) каждый эксперт объединяет всех экспертов в три подгруппы в соответствии со своим представлением об их качестве: наиболее квалифицированные, средней квалификации и ниже средней квалификации.
Число экспертов в подгруппе не должно превышать 6-8 человек. Затем он ранжирует экспертов каждой подгруппы. Ранг 1 получает самый квалифицированный эксперт, ранг 2 - следующий по квалификации и т. д. Наконец, с учетом ранжирования каждому другому эксперту присваивает числовую оценку от 10 (самый квалифицированный) до 0 (совершенно неквалифицированный). Оценка дается с точностью до половины балла. Все полученные оценки сводятся в матрицу, и определяется средняя оценка каждого эксперта:
где Квз j - средняя взаимооценка j-го эксперта;
Кp j - оценка, проставленная p-м экспертом j-му;
N1 - число экспертов, оценивающих j-го эксперта, причём N1 < N ( N- общая численность экспертной группы).
При определении взаимооценки целесообразно учитывать три обстоятельства.
1. Если эксперт недостаточно знаком с каким-то j-м экспертом, он может в соответствующей графе табл. 7 поставить прочерк, причем средняя взаимооценка по формуле вычисляется только в том случае, если каждого эксперта могут оценить достаточное количество экспертов, например не менее 50% членов экспертной группы (N1 > 0,5 N).
2. Как отмечает В. Н. Шубкин, обычно экспертная группа проявляет тенденцию к самосохранению, стремясь не допускать крайних, т. е. очень высоких и очень низких оценок в отношении всех своих членов, невзирая на их звания и должности. Поэтому в пояснительной записке к «Анкете взаимооценки» необходимо подчеркнуть ее анонимный характер (фамилия эксперта не ставится) и то обстоятельство, что результаты анкеты будут использоваться только для корректировки оценок качества продукции.
3. Желательно, чтобы все эксперты однозначно воспринимали понятие «качество эксперта»; для чего их следует ознакомить со структурной схемой свойств экспертов и их частных оценок.
Необходимо отметить, что, будучи в целом менее субъективной, чем самооценка, взаимооценка имеет специфический недостаток, который заключается в том, что члены экспертной группы могут слабо знать друг друга.
Таблица 1.3. Анкета взаимооценки
Фамилия, имя, отчество эксперта |
Номера экспертов |
Квалификация экспертов |
Ранги экспертов внутри групп |
Оценка экспертов кpj |
||||
выше средней |
средняя |
ниже средней |
выше среднего |
среднее |
ниже среднего |
|||
Алексеева А.А. Иванов П.Н. Куркин М.М. Нефедова О.М. Зайченко Р.Н. Петров К.К. Федотов Н.Ф. Соколова М.А. Сенин Н.Н. Трошина О.И. Видов М.Г. Степанов Н.К. Селихов П.В. Сахарова Н.Г. Николаев К.В. Бакин А.А. |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
+
+
+
+ +
|
+
+ + +
+ |
+
+
+
+ + + |
3
1
2
5 4
|
5
4 1 3
2
7 8 6 |
2
1
2 |
9,5 5,0 10,0 6,5 7,0 6,5 2,5 10,0 3,0 6,5 2,5 8,0 8,0 4,5 4,5 5,0 |