396 Глава 11. Глубокое обучение для текста
Теперь.вы.знаете.о.предварительной.обработке.текста.все,.что.нужно..Давайте. перейдем.к.этапу.моделирования.
11.3. ДВА ПОДХОДА К ПРЕДСТАВЛЕНИЮ ГРУПП СЛОВ: МНОЖЕСТВА И ПОСЛЕДОВАТЕЛЬНОСТИ
Представление.отдельных слов .в.моделях.машинного.обучения.почти.не.вы зывает .сомнений: .это .категориальные .признаки .(значения .из .предопределенного .набора), .и .мы .знаем, .как .с .ними .обращаться..Они .должны .быть. представлены .как .измерения .в .пространстве .признаков .или .как .векторы. категорий.(в.данном.случае.векторы.слов)..Более.серьезный.вопрос.касается. способа.кодирования.переплетения слов в предложениях .—.иными.словами,. порядка.их.следования.
Проблема.порядка.следования.в.естественном.языке.весьма.интересна:.в.отличие.от.интервалов.во.временных.последовательностях,.слова.в.предложениях. не.имеют.натурального.канонического.порядка..В.разных .языках.похожие. слова.упорядочиваются.по-разному..Например,.структура.предложений.в.ан- глийском.и.японском.языках.сильно.различается..Даже.в.одном.языке.ту.же. самую.мысль.можно.выразить.по-разному,.просто.переставляя.выражения. местами..Более.того,.даже.перемешав.в.случайном.порядке.слова.в.коротком. предложении,.вы.все.равно.с.большой.долей.вероятности.сможете.понять.его. смысл,.хотя.нередко.в.подобных.ситуациях.могут.возникнуть.существенные. разночтения..Порядок,.конечно.же,.важен,.но.его.связь.с.сутью.предложения. не.особенно.тесная.
Представление.порядка.слов.—.ключевой.вопрос,.из.которого.вытекают.раз- личные.виды.архитектур.моделей..Самое.простое,.что.можно.сделать,.—.от- бросить .порядок .и .рассматривать .текст .как .неупорядоченный .набор .слов.. Такой.подход.дает.нам.модели мешка слов..С.другой.стороны,.можно.решить,. что.слова.должны.обрабатываться.строго.в.том.порядке,.в.каком.они.следуют. в.предложениях,.по.одному,.как.интервалы.временной.последовательности,.
и.для.этого.можно.использовать.рекуррентные.модели,.представленные.в.предыдущей.главе..Наконец,.возможен.гибридный.подход:.архитектура.Transformer. технически.не.зависит.от.порядка,.но.учитывает.информацию.о.положении. слов,.что.позволяет.ей.одновременно.рассматривать.разные.части.предложения. (в.отличие.от.RNN),.принимая.во.внимание.также.их.порядок..Поскольку.RNN.
и.Transformer.учитывают.порядок.следования.слов,.их.называют.моделями последовательностей.
11.3.Два подхода к представлению групп слов 399
>>>print("targets.shape:", targets.shape)
>>>print("targets.dtype:", targets.dtype)
>>>print("inputs[0]:", inputs[0])
>>>print("targets[0]:", targets[0])
>>>break
inputs.shape: (32,) inputs.dtype: <dtype: "string"> targets.shape: (32,) targets.dtype: <dtype: "int32">
inputs[0]: tf.Tensor(b"This string contains the movie review.", shape=(), dtype=string)
targets[0]: tf.Tensor(1, shape=(), dtype=int32)
Наборы.данных.готовы..Теперь.попробуем.извлечь.какие-нибудь.знания.из. этих.данных.
11.3.2. Обработка наборов данных: мешки слов
Самый.простой.способ.закодировать.текст.для.последующей.обработки.моде- лью.машинного.обучения.—.представить.его.как.неупорядоченное.множество. («мешок») .токенов..При .этом .можно .рассматривать .слова .по .отдельности. (как .униграммы) .или .попытаться .сохранить .часть .информации .о .порядке. слов,.рассматривая.их.группами.из.следующих.друг.за.другом.токенов.(как. N-граммы).
Бинарное кодирование отдельных слов (униграмм)
Если.использовать.набор.отдельных.слов,.предложение.The cat sat on the mat («Кошка.села.на.коврик»).примет.следующую.форму:
{"cat", "mat", "on", "sat", "the"}
Основное.преимущество.такого.способа.кодирования.—.возможность.пред- ставить.весь.текст.в.виде.одного.вектора,.каждый.элемент.которого.является. индикатором.присутствия.одного.слова..Например,.при.бинарном.(multi.hot). кодировании.текст.преобразуется.в.вектор.с.количеством.измерений,.равным. количеству.слов.в.словаре,.—.с.нулями.почти.везде.и.единицами.в.тех.измере- ниях,.которые.представляют.присутствующие.в.тексте.слова..Именно.с.таким. представлением.мы.работали.в.главах.4.и.5..Давайте.попробуем.использовать. его.в.нашей.задаче.
Сначала.обработаем.наши.наборы.текстовых.данных.с.помощью.слоя.TextVecto rization,.чтобы.получить.бинарные.векторы.слов,.полученные.применением. федеративного.кодирования..Наш.слой.будет.рассматривать.слова.по.одному. (то.есть.как.униграммы).
11.3. Два подхода к представлению групп слов 401
Листинг 11.5. Функция конструирования модели
from tensorflow import keras
from tensorflow.keras import layers
def get_model(max_tokens=20000, hidden_dim=16): inputs = keras.Input(shape=(max_tokens,))
x = layers.Dense(hidden_dim, activation="relu")(inputs) x = layers.Dropout(0.5)(x)
outputs = layers.Dense(1, activation="sigmoid")(x) model = keras.Model(inputs, outputs) model.compile(optimizer="rmsprop",
loss="binary_crossentropy", metrics=["accuracy"])
return model
Наконец,.обучим.и.проверим.модель.на.контрольных.данных.
Листинг 11.6. Обучение модели на бинарных униграммах и ее проверка
model = get_model() model.summary() callbacks = [
keras.callbacks.ModelCheckpoint("binary_1gram.keras", save_best_only=True)
]
model.fit(binary_1gram_train_ds.cache(), validation_data=binary_1gram_val_ds.cache(), epochs=10,
callbacks=callbacks)
model = keras.models.load_model("binary_1gram.keras") print(f"Test acc: {model.evaluate(binary_1gram_test_ds)[1]:.3f}")
Метод cache() наборов данных применяется для кеширования их в памяти. Благодаря этому предварительная обработка будет выполняться только один раз в первой эпохе, а в остальные эпохи будут использоваться уже обработанные данные. Этим приемом можно пользоваться, только если данных не слишком много и они могут уместиться в памяти
Модель.достигла.точности.89,2.%.на.контрольных.данных.—.неплохо!.Обрати- те.внимание,.что.в.этом.случае.набор.данных.сбалансирован.(положительных. образцов.столько.же,.сколько.и.отрицательных),.поэтому.«базовый.уровень»,. которого.можно.достичь.без.обучения.реальной.модели,.составляет.50.%..Между. тем.наилучшая.оценка.точности.на.контрольных.данных,.которую.можно.получить.на.этом.наборе.без.использования.внешних.данных,.близка.к.95.%.
Бинарное кодирование пар слов (биграмм)
Как.вы.наверняка.понимаете,.отказ.от.учета.порядка.слов.сильно.влияет.на. точность,.потому.что.даже.атомарные.понятия.часто.выражаются.несколькими.словами:.пара.слов.«Соединенные.Штаты».передает.понятие,.совершенно. отличное.от.взятых.по.отдельности.значений.слов.«штаты».и.«соединенные»..
402 Глава 11. Глубокое обучение для текста
По.этой.причине.в.конечном.счете.приходится.вновь.вводить.в.представление. мешка.слов.информацию.о.локальном.порядке,.объединяя.слова.в.N-граммы. (чаще.всего.в.биграммы).
В.случае.с.биграммами.наше.предложение.про.кошку.превращается.в.следу ющий.набор.данных:
{"the", "the cat", "cat", "cat sat", "sat", "sat on", "on", "on the", "the mat", "mat"}
Слой.TextVectorization.можно.настроить.так,.чтобы.он.возвращал.произвольные. N-граммы:.биграммы,.триграммы.и.т..д..Для.этого.достаточно.передать.аргумент. ngrams=N,.как.показано.в.следующем.листинге.
Листинг 11.7. Настройка слоя TextVectorization для получения биграмм
text_vectorization = TextVectorization( ngrams=2,
max_tokens=20000, output_mode="multi_hot",
)
Посмотрим,.как.изменится.качество.модели.после.обучения.на.мешке.бинарных. биграмм.
Листинг 11.8. Обучение модели на бинарных биграммах и ее проверка
text_vectorization.adapt(text_only_train_ds) binary_2gram_train_ds = train_ds.map(
lambda x, y: (text_vectorization(x), y), num_parallel_calls=4)
binary_2gram_val_ds = val_ds.map(
lambda x, y: (text_vectorization(x), y), num_parallel_calls=4)
binary_2gram_test_ds = test_ds.map(
lambda x, y: (text_vectorization(x), y), num_parallel_calls=4)
model = get_model() model.summary() callbacks = [
keras.callbacks.ModelCheckpoint("binary_2gram.keras", save_best_only=True)
]
model.fit(binary_2gram_train_ds.cache(), validation_data=binary_2gram_val_ds.cache(), epochs=10,
callbacks=callbacks)
model = keras.models.load_model("binary_2gram.keras") print(f"Test acc: {model.evaluate(binary_2gram_test_ds)[1]:.3f}")
11.3. Два подхода к представлению групп слов 403
Модель.достигла.точности.90,4.%.на.контрольных.данных.—.заметное.улучше- ние!.Оказывается,.локальный.порядок.слов.очень.важен.
Биграммы с кодированием TF-IDF
В.представление.можно.добавить.еще.немного.информации,.подсчитав,.сколько. раз.в.тексте.встречается.каждое.слово.или.N-грамма.(иными.словами,.построив. гистограмму.распределения.слов):
{"the": 2, "the cat": 1, "cat": 1, "cat sat": 1, "sat": 1, "sat on": 1, "on": 1, "on the": 1, "the mat: 1", "mat": 1}
Выполняя.классификацию.текста,.важно.знать,.сколько.раз.слово.встречается. в.выборке:.любой.достаточно.длинный.обзор.фильма.(независимо.от.общей. оценки).может.содержать.слово.«ужасный»,.но.обзор,.в.котором.слово.«ужасный».употреблено.много.раз,.скорее.всего,.отрицательный.
Вот.как.можно.подсчитать.количество.вхождений.биграмм.с.помощью.слоя.
TextVectorization.
Листинг 11.9. Настройка слоя TextVectorization для подсчета токенов
text_vectorization = TextVectorization( ngrams=2,
max_tokens=20000, output_mode="count"
)
Очевидно,.что.некоторые.слова.будут.встречаться.в.тексте.чаще.других.неза висимо.от.его.тематики..Слова.the,.a,.is.и.are.всегда.будут.доминировать.в.гистограммах,.заглушая.другие.слова,.несмотря.на.то.что.в.контексте.классификации. они.практически.бесполезны..Можно.ли.решить.данную.проблему?
Вы.уже.наверняка.предположили:.да,.можно.—.через.нормализацию..Мы.просто. нормализуем.количество.слов,.вычтя.среднее.значение.и.разделив.разность.на. дисперсию.(вычисленную.по.всему.набору.обучающих.данных)..В.этом.есть. смысл..Вот.только.большинство.векторизованных.предложений.почти.полностью. состоит.из.нулей.(даже.в.нашем.предыдущем.примере.имелось.12.ненулевых. элементов.и.19.988.нулевых)..Подобное.свойство.называется.разреженностью..
Оно.замечательное,.поскольку.значительно.снижает.вычислительную.нагрузку. и.риск.переобучения..А.вычтя.среднее.из.каждого.признака,.мы.бы.его.разрушили..Поэтому.в.любой.схеме.нормализации.мы.можем.применить.только. деление..Но.что.использовать.в.знаменателе?.Лучшей.практикой.является.то,.что. называется.нормализацией TF-IDF (term.frequency,.inverse.document.frequency.—. «частота.слова,.обратная.частота.документа»).
