zz Алгоритмы обнаружения выбросов, или аномалий (anomaly detection algorithms).

ОБУЧЕНИЕ БЕЗ УЧИТЕЛЯ

Обучение без учителя (unsupervised learning) — это процесс придания струк­ туры неструктурированным данным путем обнаружения и использования присущих им общих признаков. Если набор данных не создан каким-либо случайным процессом, то в данных в многомерном пространстве задачи суще­ ствуют некоторые шаблоны. Алгоритмы обучения без учителя обнаруживают их и используют для структурирования данных. Эта концепция показана на рис. 6.1.

Рис. 6.1

Обучение без учителя структурирует данные, обнаруживая новые признаки в существующих шаблонах.

Обучение без учителя в жизненном цикле майнинга данных

Чтобы понять роль обучения без учителя, в первую очередь необходимо взгля­ нуть на жизненный цикл майнинга данных (data mining) в целом. Существуют различные методологии, разделяющие его на независимые этапы, называемые фазами. В настоящее время есть два популярных способа построения жизнен­ ного цикла майнинга данных:

zz CRISP-DM (Cross-Industry Standard Process for Data Mining); zzSEMMA (Sample, Explore, Modify, Model, Access).

zz Фаза 1. Понимание бизнес-целей. На данном этапе происходит понимание задачи с позиции бизнеса и определяются ее требования. Оценка масштаба задачи и правильное ее описание в терминах машинного обучения (МО) — важная часть этапа. Например, для задачи бинарной классификации иногда полезно сформулировать требования в терминах гипотезы, которая может быть доказана или отклонена. Эта фаза также посвящена документированию ожиданий от модели МО (она будет обучена на этапе моделирования). Так, для задачи классификации нам необходимо задать минимально приемлемую точность модели, которая может быть развернута в производственной среде.

Важно отметить, что первый этап CRISP-DM связан с пониманием с позиции бизнеса. Здесь мы фокусируемся на том, что нужно сделать, а не на том, как именно это будет сделано.

zz Фаза 2. Изучение данных. На этом этапе мы исследуем данные и ищем под­ ходящие для решения задачи датасеты (наборы данных). Необходимо оценить качество данных и их структуру, а также обнаружить полезные закономер­ ности. Затем мы должны выявить подходящий признак, который можно использовать в качестве метки (или целевой переменной) в соответствии с требованиями фазы 1. Алгоритмы обучения без учителя способны сыграть ключевую роль в достижении следующих целей:

yy обнаружить закономерности в датасете;

yy изучить структуру датасета, проанализировав обнаруженные закономер­ ности;

yy определить или вывести целевую переменную.

zz Фаза 3. Подготовка данных. Речь идет о подготовке данных для модели МО, которую мы будем обучать. Размеченные данные разделяются на две нерав­ ные части. Большая часть называется обучающими данными (training data) и используется для дальнейшего обучения модели. Меньшая часть называ­ ется проверочными данными (testing data) и применяется для оценки модели (фаза 5). В качестве инструмента подготовки данных используются алгорит­ мы МО без учителя. С их помощью мы преобразовываем неструктурирован­ ные данные в структурированные и создаем дополнительные параметры, которые могут быть полезны при обучении модели.

zz Фаза 4. Моделирование. На данном этапе мы используем обучение с учителем, чтобы сформулировать обнаруженные закономерности. Необходимо произ­ вести подготовку данных в соответствии с требованиями выбранного алго­ ритма обучения с учителем и определить конкретный признак, который будет использоваться в качестве метки. На этапе подготовки мы разделили данные на проверочные и обучающие. Теперь нужно составить математиче­ ские формулировки для описания взаимосвязей в интересующих нас зако­ номерностях. Это делается путем обучения модели с помощью набора обу­ чающих данных, созданного на этапе 3. Полученное математическое описание зависит от выбора алгоритма.

zz Фаза 5. Оценка. Этот этап посвящен тестированию недавно обученной мо­ дели с использованием проверочных данных. Если результат не соответству­ ет требованиям, установленным на этапе понимания бизнес-целей, мы по­ вторяем цикл, начиная с фазы 1. Это проиллюстрировано на рис. 6.2.

zz Фаза 6. Внедрение. Если результат совпадает с ожиданиями или превосходит их, то обученная модель развертывается в рабочей среде и начинает генери­ ровать решение задачи, сформулированной на фазе 1.

Вторая и третья фазы жизненного цикла CRISP-DM связаны с пони­ манием данных и их подготовкой для обучения модели, что включает в себя обработку данных. На этом этапе некоторые организации при­ влекают к работе дата-инженеров.

Очевидно, что процесс поиска решения задачи целиком зависит от данных. Со­ четание машинного обучения с учителем и без учителя используется для вы­ работки приемлемого решения. В этой главе основное внимание уделяется роли обучения без учителя.

Инжиниринг данных включает в себя фазы 2 и 3 и является наи­ более трудоемкой частью машинного обучения. Две эти фазы спо­ собны занять до 70 % времени и ресурсов типового проекта МО. Важную роль в инжиниринге данных играют алгоритмы обучения без учителя.

В следующих разделах содержится более подробная информация об алгоритмах без учителя.

Современные тенденции исследований в области обучения без учителя

В течение многих лет исследования алгоритмов МО были в большей степени сосредоточены на методах обучения с учителем. Поскольку эти методы при­ меняются непосредственно для формирования логических выводов, их преиму­ щества с точки зрения времени, затрат и точности относительно легко подда­ ются измерению. Эффективность алгоритмов МО без учителя была признана не так давно. Поскольку обучение без учителя не управляется человеком, оно в меньшей степени зависит от предположений и потенциально может обеспечить сходимость решения по всем параметрам. Хотя масштаб и требования к обра­ ботке таких алгоритмов сложнее контролировать, они обладают большим по­ тенциалом для выявления скрытых закономерностей. Специалисты работают над объединением методов МО с учителем и без учителя, чтобы получить новые мощные алгоритмы.