Мокеев В.В. - WEB-аналитика на Python - 2020

которая возвращает imp массив весовых коэффициентов, характеризующих важность показателей.

Рис. 2.21. Точность прогнозирования и матрица неточностей

Создайте структуру rfImp со столбцами 'title' и 'imp' imp =rfc.feature_importances_

rfImp = pd.DataFrame(imp, columns=['imp']) rfImp['title']=title1

Отсортируйте коэффициенты важности в порядке их убывания. rfImp = rfImp.sort_values('imp', ascending = False)

rfImp

Результаты показываются на рис. 2.22.

Рис. 2.22. Коэффициенты важности (значимости) показателей

Самостоятельное задание 1

По 50 водителям были зарегистрированы: Х1 возраст,

Х2 состояние зрения (имеются проблемы со зрением − значение переменной равно единице, нет проблем − нулю),

Х3 уровень подготовки водителя (если прошел курсы для водителей, Х3 = 1; если нет, Х3 = 0),

Y наличие дорожно-транспортных происшествий (ДТП) в последний год (0 нет, 1 да).

91

Все данные хранятся в файле DTP.csv. Файл подготовлен в российском формате (разделители точка с запятой).

1)Загрузите данные в структуру DataFrame.

2)Постройте модель для прогнозирования вероятности ДТП. Для построения модели используйте методы машинного обучения: дерево реше-

ний и Random forest.

2.7.Практическое занятие №4. Построение моделей классификации

ианализ их точности

Цель занятия:

Изучить основные элементы языка Python.

Закрепить навыки и умения использования методов классификации. Изучить метрики оценки качества получаемых решений.

Учебное задание

В своей работе Р. Фишер использовал данные, собранные американским ботаником Э. Андерсоном, который измерил следующие характеристики цветков каждого из 150 образцов:

длина чашелистика (англ. sepal length),

ширина чашелистика (англ. sepal width),

длина лепестка (англ. petal length),

ширина лепестка (англ. petal width).

Соцветия ириса имеют форму веера и содержат один или более симметричных шестидольных цветков. Растут они на коротком стебельке. Три чашелистика направлены вниз. Они расширяются из узкого основания в обширное окончание, украшенное прожилками, линиями или точками. Три лепестка, которые иногда могут быть редуцированными, находятся в вертикальной позиции и частично скрыты основанием чашелистика. У более мелких ирисов вверх направлены все шесть доль. Чашелистики и лепестки отличаются друг от друга. Они объединены у основания в цветочный цилиндр, который лежит над завязью. Виды ириса представлены на рис. 2.23.

Рассматривается задача кластеризация цветов, которая получила название задача ирисов Фишера. Эта задача стала популярной после работы Роберта Фишера. Набор данных включает три класса по 50 образцов в каждом. Каждый класс соответствует виду ириса:

Iris Setosa (класс 1),

Iris Versicolour (класс 2),

Iris Virginica (класс 3).

92

SEED = 23435

NFOLDS = 6

kf = KFold(m, n_folds= NFOLDS, random_state=SEED, shuffle =True)

5. Загрузите библиотеки машинного обучения и метрики для оценки точности. Для задачи с большим числом классов (больше 2) функция для вычисления метрики ROC AUC не подходит, так как она работает только с двумя классами. Для нашей задачи с мультиклассами подходят функции accuracy_score и precision_score.

from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import accuracy_score, precision_score from sklearn import tree

6. Проведите классификацию ирисов используя «дерево решений». Сначала выполним поиск наилучших показателей обучения max_depth и max_features. При переборе наилучшую модель будем сохранять с помощью функции SaveModel() и загружать функцией LoadModel().

import _pickle as cPickle def SaveModel(name, rfc):

with open(name, 'wb') as f: cPickle.dump(rfc, f)

# in your prediction file def LoadModel(name):

with open(name, 'rb') as f: rf = cPickle.load(f)

return rf

Значения параметра max_features будем перебирать в диапазоне от 1 до 4, т.к. 4 – это число показателей. А наилучшие значения max_depth будем искать в диапазоне от 1 до 11.

gr=np.arange(1,5,1)

gr1=np.arange(1,12,1)

acc=0

for i in gr: for j in gr1:

modl=[]

pred_test = np.zeros((m,nclass)) for (ttrain, ttest) in kf:

dtc = tree.DecisionTreeClassifier(max_depth = j,max_features = i) dtc=dtc.fit(X[ttrain], y[ttrain])

pred_test[ttest] = dtc.predict_proba(X[ttest]) modl.append(dtc)

pred=[]

for x in pred_test: pred.append(np.argmax(x))

95

ac= accuracy_score(y, pred) if ac > acc:

acc=ac

for kk in np.arange(0,NFOLDS,1): s="../Titanic/Data/DT-iris"+str(kk)+".model" SaveModel(s, modl[kk])

md=j

mf=i

print("DesicionTree: max_depth", j, "max_features", i, "

Точность", ac)

Результат представлен на рис. 2.28.

Рис. 2.28. Результаты поиска наилучших моделей

Если повторять исполнение кода, то можно получать другие результаты. Создадим внешний цикл повторения, чтобы повысить шансы нахожде-

ния наилучшей модели. gr=np.arange(1,5,1) gr1=np.arange(1,12,1) acc=0

for rep in np.arange(100): for i in gr:

for j in gr1: modl=[]

pred_test = np.zeros((m,nclass)) for (ttrain, ttest) in kf:

dtc = tree.DecisionTreeClassifier(max_depth = j,max_features

= i)

dtc=dtc.fit(X[ttrain], y[ttrain]) pred_test[ttest] = dtc.predict_proba(X[ttest]) modl.append(dtc)

pred=[]

for x in pred_test: pred.append(np.argmax(x))

ac= accuracy_score(y, pred) if ac > acc:

acc=ac

for kk in np.arange(0,NFOLDS,1): s="../Titanic/Data/DT-iris"+str(kk)+".model" SaveModel(s, modl[kk])

96

md=j

mf=i

print("DesicionTree: max_depth", j, "max_features", i, "

Точность", ac)

Результаты представлены на рис. 2.29.

Рис. 2.29. Результаты поиска

7. Используйте полученные модели, чтобы вычислить прогнозные значения для исходного набора. Результаты представлены на рис. 2.30.

pred_test = np.zeros((m,nclass)) for (ttrain, ttest) in kf:

dtc = tree.DecisionTreeClassifier(max_depth = 3,max_features = 2) s="../Titanic/Data/DT-iris"+str(kk)+".model"

print(s)

dtc=LoadModel(s)

pred_test[ttest] = dtc.predict_proba(X[ttest]) pred=[]

for x in pred_test: pred.append(np.argmax(x))

ac= accuracy_score(y, pred) print("Точность", ac)

Рис. 2.30. Результаты обучения моделей 8. Вычислите метрики точности и матрицу неточностей. Результат пока-

зан на рис. 2.31.

from sklearn.metrics import classification_report from sklearn.metrics import confusion_matrix

print(classification_report( y, pred, target_names=target_names, digits=4)) print(confusion_matrix( y, pred, labels=range(3)))

97

for x in pred_test: pred.append(np.argmax(x))

ac= accuracy_score(y, pred) if ac > acc:

acc=ac

for kk in np.arange(0,NFOLDS,1): s="../Titanic/Data/RF-iris"+str(kk)+".model" SaveModel(s, modl[kk])

md=j

mf=i

print("Random Forest: max_depth", j, "n_estimators", i, "

Точность", ac)

Результаты представлены на рис. 2.34.

Рис. 2.34. Результаты поиска наилучшей модели

12. Проверьте эффективность сохраненных моделей. Результат представляется на рис. 2.35.

scc=0

pred_test = np.zeros((m,nclass))

for kk, (ttrain, ttest) in enumerate(kf): rfc = RandomForestClassifier()

s="../Titanic/Data/RF-iris"+str(kk)+".model" print(s)

rfc=LoadModel(s)

pred_test[ttest] = rfc.predict_proba(X[ttest]) pred=[]

for x in pred_test: pred.append(np.argmax(x))

ac= accuracy_score(y, pred) print( "Accuracy", ac)

Рис. 2.35 Использование моделей

100