4 Метод классификации по критерию фишера
На первом этапе проводится классификация класса ФЖ от классов ФР и ЖТ. На втором этапе классифицируется класс ФР от класса ЖТ. С помощью линейного дискриминанта Фишера (ЛДФ) находится весовой вектор и проекции классов на этот вектор. По полученному графику находится порог классификации. На рисунке 4 представлены гистограммы (сверху) и распределение Гаусса (снизу) для 1 этапа (слева) и для 2 этапа (справа). Визуально, по графикам нормального распределения, были определены пороги классификации для двух этапов a1 = –7, a2 = –10. В таблице 21 представлены весовые вектора и пороги классификации для обоих этапов.
Весовой вектор рассчитывается по формуле (6).
|
(6) |
|
(7) |
где
– количество элементов i-го
класса;
– матрица ковариации i-го
класса.
Рисунок 4 – Классификация по критерию Фишера
Таблица 21 – Коэффициент W для метода критерия Фишера
Этап классификации |
Коэффициенты весового вектора |
Порог классификации |
Этап 1 |
W1 = [0,01; -0,08; -0,08; 0,09; 0,17; -0,23; -0,14; 0,26; 0,22; -0,51; -0,71] |
-7 |
Этап 2 |
W2 = [0,05; -0,22; -0,21; -0,26; 0,07; -0,06; 0,04; -0,49; -0,28; 0,71; -0,05] |
-10 |
Полученные весовые вектора для линейного дискриминанта Фишера полностью совпадают с весовыми векторами для случая нормально распределенных классов с равными ковариационными матрицами.
В таблице 22 представлены средние выборочные и стандартные отклонения распределений проекций объектов заданных классов на весовые векторы W1 и W2.
Таблица 22 – Средние и дисперсии проекций
Этап классификации |
Класс |
Среднее |
Дисперсия |
Этап 1 (проекции на вектор w1) |
ФЖ |
3,73 |
21,53 |
ФР + ЖТ |
-18,19 |
32,80 |
|
Этап 2 (проекции на вектор w2) |
ФР |
4,63 |
54,12 |
ЖТ |
-34,01 |
173,06 |
На основании таблицы 21 можно записать уравнения разделяющих плоскостей (Таблица 23).
Таблица 23 – Коэффициент w для метода по критерию Фишера
Этап классификации |
Уравнение разделяющей плоскости |
Этап 1 |
0,01 (x1) – 0,08(x2) – 0,08(x3) + 0,09(x4) + 0,17(x5) – 0,23(x6) – 0,14(x7) + 0,26(x8) + 0,22(x9) – 0,51(x10) – 0,7(x11) + 7 = 0 |
Этап 2 |
0,05 (x1) – 0,22(x2) – 0,21(x3) – 0,26(x4) + 0,07(x5) – 0,06(x6) + 0,04(x7) – 0,49(x8) – 0,28(x9) + 0,71(x10) – 0,05(x11) + 10 = 0 |
Алгоритм классификации по минимуму расстояния:
В соответствие с
1. Вычислить скалярное произведение векторов
т.е. 0,01 (x1) – 0,08(x2) – 0,08(x3) + 0,09(x4) + 0,17(x5) – 0,23(x6) – 0,14(x7) + 0,26(x8) + 0,22(x9) – 0,51(x10) – 0,7(x11) + 7
2. Если , то данный объект принадлежит классу ФЖ, иначе происходит классификация 2 этапа (пункты 3 и 4)
3. Вычислить скалярное произведение векторов
т.е. 0,05 (x1) – 0,22(x2) – 0,21(x3) – 0,26(x4) + 0,07(x5) – 0,06(x6) + 0,04(x7) – 0,49(x8) – 0,28(x9) + 0,71(x10) – 0,05(x11) + 10
4. Если , то данный объект принадлежит классу ФР, иначе ЖТ.
Проведем оценку точности, чувствительности и специфичности данного алгоритма классификации. В Таблице 24 используются следующие обозначения:
Таблица 24 – Оценка ошибок классификации
Этап классификации |
TP |
FP |
TN |
FN |
Чувствительность, % |
Специфичность, % |
Точность, % |
1 этап |
30 |
1 |
59 |
0 |
100 |
98 |
99 |
2 этап |
29 |
0 |
30 |
1 |
97 |
100 |
98 |
В таблице 25 представлена оценка классификации по распределению Гаусса.
При использовании метода классификации по критерию Фишера достигнута точность 99 % на первом этапе и 98 % на втором этапе. Для гауссовского распределения точность на первом и втором этапе соответственно составили 98 % и 96 %.
Таблица 25 – Оценка ошибок классификации по распределению Гаусса
Этап классификации |
TP, % |
FP, % |
TN, % |
FN, % |
Чувствительность, % |
Специфичность, % |
Точность, % |
1 этап |
99 |
2 |
98 |
1 |
99 |
98 |
98 |
2 этап |
94 |
2 |
98 |
6 |
94 |
98 |
96 |
Показатели точности и гистограммы показывают, что на обоих этапах классификации проекции классов практически не пересекаются, что позволяет применять решающее пороговое правило с высокой точностью.
Код программы для расчета параметров при классификации методом линейного дискриминанта Фишера представлен в приложении А.