- •Об авторе
- •Предисловие
- •Для кого эта книга
- •О чем эта книга
- •Что вам потребуется при чтении этой книги
- •Условные обозначения
- •От издательства
- •Глава 1. Обзор алгоритмов
- •Что такое алгоритм
- •Этапы алгоритма
- •Определение логики алгоритма
- •Псевдокод
- •Использование сниппетов
- •Создание плана выполнения
- •Введение в библиотеки Python
- •Библиотеки Python
- •Реализация Python с помощью Jupyter Notebook
- •Методы разработки алгоритмов
- •Параметры данных
- •Параметры вычислений
- •Анализ производительности
- •Анализ пространственной сложности
- •Анализ временной сложности
- •Оценка эффективности
- •Выбор алгоритма
- •«О-большое»
- •Проверка алгоритма
- •Точные, приближенные и рандомизированные алгоритмы
- •Объяснимость алгоритма
- •Резюме
- •Глава 2. Структуры данных, используемые в алгоритмах
- •Структуры данных в Python
- •Список
- •Кортеж
- •Словарь
- •Множество
- •DataFrame
- •Матрица
- •Абстрактные типы данных
- •Вектор
- •Стек
- •Очередь
- •Базовый принцип использования стеков и очередей
- •Дерево
- •Резюме
- •Глава 3. Алгоритмы сортировки и поиска
- •Алгоритмы сортировки
- •Обмен значений переменных в Python
- •Сортировка пузырьком
- •Сортировка вставками
- •Сортировка слиянием
- •Сортировка Шелла
- •Сортировка выбором
- •Алгоритмы поиска
- •Линейный поиск
- •Бинарный поиск
- •Интерполяционный поиск
- •Практическое применение
- •Резюме
- •Глава 4. Разработка алгоритмов
- •Знакомство с основными концепциями разработки алгоритма
- •Вопрос 1. Даст ли разработанный алгоритм ожидаемый результат?
- •Вопрос 2. Является ли данный алгоритм оптимальным способом получения результата?
- •Вопрос 3. Как алгоритм будет работать с большими наборами данных?
- •Понимание алгоритмических стратегий
- •Стратегия «разделяй и властвуй»
- •Стратегия динамического программирования
- •Жадные алгоритмы
- •Практическое применение — решение задачи коммивояжера
- •Использование стратегии полного перебора
- •Использование жадного алгоритма
- •Алгоритм PageRank
- •Постановка задачи
- •Реализация алгоритма PageRank
- •Знакомство с линейным программированием
- •Практическое применение — планирование производства с помощью линейного программирования
- •Резюме
- •Глава 5. Графовые алгоритмы
- •Представление графов
- •Типы графов
- •Особые типы ребер
- •Эгоцентрические сети
- •Анализ социальных сетей
- •Введение в теорию сетевого анализа
- •Кратчайший путь
- •Создание окрестностей
- •Показатели центральности
- •Вычисление показателей центральности с помощью Python
- •Понятие обхода графа
- •BFS — поиск в ширину
- •DFS — поиск в глубину
- •Практический пример — выявление мошенничества
- •Простой анализ мошенничества
- •Анализ мошенничества методом сторожевой башни
- •Резюме
- •Глава 6. Алгоритмы машинного обучения без учителя
- •Обучение без учителя
- •Обучение без учителя в жизненном цикле майнинга данных
- •Современные тенденции исследований в области обучения без учителя
- •Практические примеры
- •Алгоритмы кластеризации
- •Количественная оценка сходства
- •Иерархическая кластеризация
- •Оценка кластеров
- •Применение кластеризации
- •Снижение размерности
- •Метод главных компонент (PCA)
- •Ограничения PCA
- •Поиск ассоциативных правил
- •Примеры использования
- •Анализ рыночной корзины
- •Ассоциативные правила
- •Оценка качества правила
- •Алгоритмы анализа ассоциаций
- •Практический пример — объединение похожих твитов в кластеры
- •Тематическое моделирование
- •Кластеризация
- •Алгоритмы обнаружения выбросов (аномалий)
- •Использование кластеризации
- •Обнаружение аномалий на основе плотности
- •Метод опорных векторов
- •Резюме
- •Глава 7. Традиционные алгоритмы обучения с учителем
- •Машинное обучение с учителем
- •Терминология машинного обучения с учителем
- •Благоприятные условия
- •Различие между классификаторами и регрессорами
- •Алгоритмы классификации
- •Задача классификации
- •Оценка классификаторов
- •Этапы классификации
- •Алгоритм дерева решений
- •Ансамблевые методы
- •Логистическая регрессия
- •Метод опорных векторов (SVM)
- •Наивный байесовский алгоритм
- •Алгоритмы регрессии
- •Задача регрессии
- •Линейная регрессия
- •Алгоритм дерева регрессии
- •Алгоритм градиентного бустинга для регрессии
- •Среди алгоритмов регрессии победителем становится...
- •Практический пример — как предсказать погоду
- •Резюме
- •Глава 8. Алгоритмы нейронных сетей
- •Введение в ИНС
- •Эволюция ИНС
- •Обучение нейронной сети
- •Анатомия нейронной сети
- •Градиентный спуск
- •Функции активации
- •Инструменты и фреймворки
- •Keras
- •Знакомство с TensorFlow
- •Типы нейронных сетей
- •Перенос обучения
- •Практический пример — использование глубокого обучения для выявления мошенничества
- •Методология
- •Резюме
- •Глава 9. Алгоритмы обработки естественного языка
- •Знакомство с NLP
- •Терминология NLP
- •Библиотека NLTK
- •Мешок слов (BoW)
- •Эмбеддинги слов
- •Окружение слова
- •Свойства эмбеддингов слов
- •Рекуррентные нейросети в NLP
- •Использование NLP для анализа эмоциональной окраски текста
- •Практический пример — анализ тональности в отзывах на фильмы
- •Резюме
- •Глава 10. Рекомендательные системы
- •Введение в рекомендательные системы
- •Типы рекомендательных систем
- •Рекомендательные системы на основе контента
- •Рекомендательные системы на основе коллаборативной фильтрации
- •Гибридные рекомендательные системы
- •Ограничения рекомендательных систем
- •Проблема холодного старта
- •Требования к метаданным
- •Проблема разреженности данных
- •Предвзятость из-за социального влияния
- •Ограниченные данные
- •Области практического применения
- •Практический пример — создание рекомендательной системы
- •Резюме
- •Глава 11. Алгоритмы обработки данных
- •Знакомство с алгоритмами обработки данных
- •Классификация данных
- •Алгоритмы хранения данных
- •Стратегии хранения данных
- •Алгоритмы потоковой передачи данных
- •Применение потоковой передачи
- •Алгоритмы сжатия данных
- •Алгоритмы сжатия без потерь
- •Практический пример — анализ тональности твитов в режиме реального времени
- •Резюме
- •Глава 12. Криптография
- •Введение в криптографию
- •Понимание важности самого слабого звена
- •Основная терминология
- •Требования безопасности
- •Базовое устройство шифров
- •Типы криптографических методов
- •Криптографические хеш-функции
- •Симметричное шифрование
- •Асимметричное шифрование
- •Практический пример — проблемы безопасности при развертывании модели МО
- •Атака посредника (MITM)
- •Избежание маскарадинга
- •Шифрование данных и моделей
- •Резюме
- •Глава 13. Крупномасштабные алгоритмы
- •Введение в крупномасштабные алгоритмы
- •Определение эффективного крупномасштабного алгоритма
- •Терминология
- •Разработка параллельных алгоритмов
- •Закон Амдала
- •Гранулярность задачи
- •Балансировка нагрузки
- •Проблема расположения
- •Запуск параллельной обработки на Python
- •Разработка стратегии мультипроцессорной обработки
- •Введение в CUDA
- •Кластерные вычисления
- •Гибридная стратегия
- •Резюме
- •Глава 14. Практические рекомендации
- •Введение в практические рекомендации
- •Печальная история ИИ-бота в Твиттере
- •Объяснимость алгоритма
- •Алгоритмы машинного обучения и объяснимость
- •Этика и алгоритмы
- •Проблемы обучающихся алгоритмов
- •Понимание этических аспектов
- •Снижение предвзятости в моделях
- •Решение NP-трудных задач
- •Упрощение задачи
- •Адаптация известного решения аналогичной задачи
- •Вероятностный метод
- •Когда следует использовать алгоритмы
- •Практический пример — события типа «черный лебедь»
- •Резюме
Объяснимость алгоритма |
349 |
Microsoft в 2016 году. Управляемый алгоритмом ИИ, Тау должен был учиться у своих собеседников и совершенствоваться. К сожалению, прожив пару дней в киберпространстве, Тау стал повторять расистские и грубые твиты пользо вателей. Очень скоро он начал писать собственные оскорбительные твиты. С одной стороны, бот проявил интеллект и быстро научился создавать инди видуальные твиты на основе событий в реальном времени (как и было заду мано). С другой — он начал серьезно оскорблять людей. Microsoft отключила Тау и попыталась его перенастроить, но это не сработало. В конечном счете компании пришлось удалить бота. Это был печальный конец амбициозного проекта.
Хотя интеллект Тау был весьма впечатляющим, Microsoft проигнорировала последствия внедрения самообучающегося Twitter-бота. Использованные ал горитмы NLP и машинного обучения, возможно, были лучшими в своем классе, но из-за очевидных недостатков это был практически бесполезный проект. Сегодня Tay стал хрестоматийным примером неудачи из-за игнорирования практических последствий предоставления алгоритмам возможности учиться на лету. Уроки, извлеченные из провала Tay, определенно повлияли на проекты ИИ более поздних лет. Специалисты по обработке данных также начали уделять больше внимания прозрачности алгоритмов. Это подводит нас к следующей теме, в которой исследуются необходимость и способы сделать алгоритмы объ яснимыми.
ОБЪЯСНИМОСТЬ АЛГОРИТМА
Алгоритм «черного ящика» — это алгоритм, логика которого не поддается ин терпретации человеком либо из-за его сложности, либо из-за слишком запутан ного объяснения. В то же время логика алгоритма «белого ящика» прозрачна и понятна человеку. Объяснимость позволяет человеку понять, почему алгоритм дает те или иные результаты. Степень объяснимости — это мера того, насколько конкретный алгоритм понятен для человеческого разума. Многие классы алго ритмов, особенно связанные с машинным обучением, классифицируются как «черный ящик». Если алгоритм используется для принятия критического ре шения, крайне важно знать причины, лежащие в основе полученных результатов. К тому же преобразование алгоритма из «черного ящика» в «белый» позволяет лучше понять внутреннюю работу модели. Например, объяснимый алгоритм дает врачу возможность понять, какие функции на самом деле использовались для деления пациентов на больных и здоровых. Если у врача есть какие-либо сомнения по поводу результатов, можно вернуться и перепроверить конкретные характеристики на точность.
350 |
Глава 14. Практические рекомендации |
Алгоритмы машинного обучения и объяснимость
Объяснимость алгоритма имеет особое значение для алгоритмов машинного обучения. Во многих приложениях МО от пользователей требуется доверять модели, которая помогает им принимать решения. Объяснимость в подобных случаях обеспечивает необходимую прозрачность.
Разберем более подробно конкретный пример. Предположим, что с помощью МО нам нужно спрогнозировать цены на дома в районе Бостона на основе их характеристик. Местные законы позволяют нам использовать МО, только если по запросу мы предоставим подробное обоснование любых прогнозов. Эта ин формация нужна, чтобы провести аудит и убедиться, что определенные сегмен ты рынка жилья не подвергаются искусственному манипулированию. Если обученная модель будет объяснимой, то мы сможем предоставить такую инфор мацию.
Давайте рассмотрим различные варианты реализации объяснимости обученной модели.
Стратегии объяснимости
В машинном обучении, по сути, существуют две стратегии, которые обеспечи вают объяснимость алгоритмов:
zz Глобальная объяснимость предоставляет детальную информацию о модели в целом.
zzЛокальная объяснимость дает обоснование для одного или нескольких от дельных прогнозов, сделанных обученной моделью.
Одной из стратегий глобальной объяснимости является метод TCAV (Testing with Concept Activation Vectors; тестирование с помощью векторов активации концепций). Данный метод используется, чтобы обеспечить объяснимость мо делей классификации изображений. TCAV основан на вычислении производных по направлению для оценки степени взаимосвязи между концепцией, которую задает пользователь, и классификацией изображений. Например, TCAV может определить, насколько классификация человека на фото как мужчины зависит от наличия бороды на этом фото. Существуют и другие стратегии глобальной объяснимости, позволяющие раскрыть механизм работы обученной модели. Это графики частичной зависимости (partial dependence plots) и вычисление важности перестановки (permutation importance). Стратегии как глобальной, так и локальной объяснимости могут быть либо моделезависимыми, либо моделе
Объяснимость алгоритма |
351 |
независимыми. В первом случае стратегии применимы только к определенным типам моделей, во втором — к широкому спектру моделей.
На следующей диаграмме представлены различные стратегии для объяснимости машинного обучения (рис. 14.1).
|
|
: |
|
: |
|
||
|
|
|
|
|
|
|
|
|
• |
• |
• |
||||
• |
|||||||
|
|
|
|
||||
– TCAV |
– œ ž |
– LIME (Local Interpretable |
– • |
||||
|
|
|
|
Model-Agnostic |
|
||
|
|
|
|||||
|
– Ÿ — |
|
Explanations) |
– – — |
˜
Рис. 14.1
Теперь посмотрим, как реализуется объяснимость с применением одной из этих стратегий.
Реализация объяснимости
LIME (local interpretable model-agnostic explanations; локально интерпретируе мые моделенезависимые объяснения) — это моделенезависимый подход, спо собный объяснить отдельные прогнозы, сделанные обученной моделью. Он пригоден для интерпретации большинства типов обученных моделей МО.
LIME интерпретирует решения, внося небольшие изменения во входные данные для каждого экземпляра. Он собирает данные о воздействии этих изменений на локальную границу принятия решений для конкретной модели. LIME циклич но повторяется, чтобы в итоге предоставить подробную информацию для каж дой переменной. Глядя на выходные данные, можно увидеть, какая переменная оказывает наибольшее влияние на конкретный экземпляр.
352 |
Глава 14. Практические рекомендации |
Попробуем использовать LIME, чтобы сделать объяснимыми индивидуальные прогнозы модели, предсказывающей цены на жилье.
1. Для начала установим библиотеку с помощью pip:
!pip install lime
2. Затем импортируем нужные библиотеки Python:
import sklearn as sk import numpy as np
from lime.lime_tabular import LimeTabularExplainer as ex
3.Подготовим модель, которая сможет прогнозировать цены на жилье в кон кретном городе. Для этого импортируем набор данных, который хранится в файле housing.pkl. Затем рассмотрим содержащиеся в нем признаки (рис. 14.2).
Рис. 14.2
Основываясь на этих признаках, нам нужно предсказать цену дома.
4.Перейдем к обучению модели. Для обучения используем регрессор случай ного леса. Сначала разделим данные на контрольную и обучающую части, а затем обучим модели:
from sklearn.ensemble import RandomForestRegressor X_train, X_test, y_train, y_test = sklearn.model_selection.train_test_split(
housing.data, housing.target)
regressor = RandomForestRegressor() regressor.fit(X_train, y_train)
5. Далее определим столбцы категорий:
cat_col = [i for i, col in enumerate(housing.data.T) if np.unique(col).size < 10]