Пример анализа тональности: классификация отзывов о товарах      253

возможно, потребуется оценить производительность модели, поэтому обычно принято разделять исходный датасет на обучающий и тестовый наборы данных. Первый — это данные, на которых модель учится, а второй — это новые данные для тестирования, которые модель раньше не видела.

Втестовых данных тоже содержатся как входные, так и выходные данные, однако модели сообщаются только входные. Затем настоящие выходные данные сравниваются со значениями, предложенными моделью, чтобы оценить точность ее прогнозов. Убедившись, что точность модели приемлема, можно использовать свежие входные данные для проведения прогностического анализа.

Вслучае обучения без учителя различия между данными, на которых нужно учиться, и неизвестными данными нет. Все данные, по сути, являются новыми, и модель пытается обучиться на них, анализируя основные признаки.

Пример анализа тональности: классификация отзывов о товарах

Теперь, когда мы рассмотрели основы машинного обучения, пришло время попрактиковаться в анализе тональности. Как уже говорилось, этот метод обработки естественного языка позволяет с помощью кода определить, несет фрагмент текста позитивную или негативную эмоциональную окраску (в некоторых приложениях возможны и другие категории, например нейтральная, очень позитивная или очень негативная). По сути, анализ тональности — это форма классификации, метод машинного обучения с учителем, который сор­ тирует данные по дискретным категориям.

В главе 3 мы использовали scikit-learn для проведения простого анализа тональности некоторых отзывов о товарах с сайта Amazon. Мы обучили модель определять, является отзыв хорошим или плохим. Сейчас мы пойдем дальше. Загрузим реальный набор отзывов о товарах непосредственно с Amazon и будем использовать его для обучения модели классификации. Цель модели — предсказать рейтинг отзывов (в звездах) по шкале от одного до пяти. Таким образом, модель будет сортировать отзывы на пять возможных категорий, а не только на две.

Получение отзывов о товарах

Первый шаг в построении модели — загрузка набора реальных отзывов о товарах с сайта Amazon. Один из простых способов сделать это — воспользоваться расширением Amazon Reviews Exporter для браузера Google Chrome. Оно позволяет

Пример анализа тональности: классификация отзывов о товарах      255

Здесь для каждой записи представлены только поля title (заголовок) и rating (рейтинг). Будем рассматривать заголовки отзывов как независимые переменные модели (то есть входные данные), а рейтинги — как зависимые (выходные данные). Обратите внимание, что мы игнорируем полный текст отзыва и ориентируемся только на названия. Это решение целесообразно в рамках анализа тональности, поскольку заголовок обычно представляет собой крат­ кое изложение отношения автора отзыва к товару. А вот полный текст отзыва часто включает другую «неэмоциональную» информацию, например обзор содержания книги.

Очистка данных

Прежде чем обрабатывать реальные данные, их почти всегда необходимо очистить. В рассматриваемом примере нам нужно отфильтровать отзывы, написанные не на английском языке. Для этого нам понадобится программно определить язык каждого отзыва. Существует несколько библиотек Python с возможностью определения языка; используем google_trans_new.

Установка google_trans_new

Установите google_trans_new library с помощью pip:

$ pip install google_trans_new

Прежде чем двигаться дальше, убедитесь, что в установленной версии google_ trans_new исправлена ошибка, которая при определении языка вызывает исключение JSONDecodeError. Для этого запустите следующий тестовый фрагмент кода в сеансе Python:

$ from google_trans_new import google_translator $ detector = google_translator()

$ detector.detect('Good')

Если тест проходит, можно продолжать работу, а если выдается исключение JSONDecodeError, потребуется внести небольшие изменения в исходный код библиотеки google_trans_new.py. Найдите расположение файла с по­ мощью pip:

$ pip show google_trans_new

256      Глава 12. Машинное обучение для анализа данных

Эта команда покажет основную информацию о библиотеке, включая расположение ее исходного кода на локальной машине. Перейдите по указанному пути

иоткройте google_trans_new.py в текстовом редакторе. Затем найдите строки 151

и233, которые будут выглядеть следующим образом:

response = (decoded_line + ']')

и измените их на:

response = decoded_line

Сохраните изменения, перезапустите сеанс Python и повторно запустите тест. Теперь библиотека должна правильно определить good как англоязычное слово:

$ from google_trans_new import google_translator $ detector = google_translator()

$ detector.detect('Good)

['en', 'english']

ПРИМЕЧАНИЕ

Чтобы узнать больше о google_trans_new, посетите страницу библиотеки на сайте Pypi.org1.

Удаление неанглоязычных отзывов

Теперь мы готовы определить язык каждого отзыва и отфильтровать отзывы, которые написаны не на английском языке. В следующем фрагменте кода мы используем модуль google_translatorиз google_trans_new для определения языка заголовка каждого отзыва, и сохраним результат в новом столбце датафрейма. Определение языка большого количества образцов может занять некоторое время, будьте готовы к этому:

from google_trans_new import google_translator detector = google_translator()

df['lang'] = df['title'].apply(lambda x: detector.detect(x)[0])

Сначала создаем объект google_translator, затем с помощью лямбда-функции к каждому заголовку обзора применяем метод объекта detect(). Сохраняем

1 https://pypi.org/project/google-trans-new