Корпусы текстов

Проект #2: «Собака Баскервилей», «Война миров» и «Затерянный мир»       63

Они были взяты с Project Gutenberg (https://www.gutenberg.org/), прекрасного источника общедоступной литературы. Чтобы вы могли с ходу начать использовать эти тексты, я убрал из них излишний материал, такой как содержание, названия глав, информация об авторских правах и пр.

Код стилометрии

Программа stylometry.py, которую мы напишем далее, загружает текстовые файлы в виде строк, токенизирует их на слова, после чего выполняет пять стилометрических анализов, перечисленных на с. 59. В качестве результата программа будет выводить набор графиков и сообщений оболочки, которые помогут определить автора книги «Затерянный мир».

Разместите программу в одном каталоге с тремя скачанными текстовыми файлами. Если вы не хотите вводить код самостоятельно, просто загрузите код, используя его доступную для скачивания версию с https://nostarch.com/real-world-python/.

Импорт модулей и определение функции main()

Код листинга 2.1 импортирует NLTK и matplotlib, назначает константу и определяет функцию main() для запуска программы. Используемые в main() функции будут подробно описаны в этой главе позднее.

Листинг 2.1. Импорт модулей и определение функции main() stylometry.py, часть 1

import nltk

from nltk.corpus import stopwords import matplotlib.pyplot as plt

print(strings_by_author['doyle'][:300])

words_by_author = make_word_dict(strings_by_author) len_shortest_corpus = find_shortest_corpus(words_by_author)

word_length_test(words_by_author, len_shortest_corpus) stopwords_test(words_by_author, len_shortest_corpus) parts_of_speech_test(words_by_author, len_shortest_corpus) vocab_test(words_by_author)

jaccard_test(words_by_author, len_shortest_corpus)

64      Глава 2. Установление авторства с помощью стилометрии

Вначале выполняется импорт NLTK и Stopwords Corpus. Далее импортируется matplotlib.

После мы создаем переменную LINES. По соглашению ее имя прописывается заглавными буквами, это указывает, что она используется в качестве константы. Функция matplotlib по умолчанию рисует графики в цвете, но при этом все равно нужно задать список символов для людей, страдающих цветовой слепотой, а также для этой черно-белой книги.

Определяем main() и запускаем программу. Шаги в данной функции почти так же читаемы, как псевдокод, и наглядно представляют действия программы. На первом этапе будет выполнена инициализация словаря для хранения текста каждого автора . Функция text_to_string() загружает каждый корпус в этот словарь в виде строки. Имя каждого автора будет являться ключом словаря (для «Затерянного мира» используется unknown), а строка текста романа — значением. Например, вот ключ Doyle с сильно обрезанным строковым значением:

{'Doyle': 'Mr. Sherlock Holmes, who was usually very late in the mornings

--snip--'}

Сразу после заполнения словаря выводим 300 элементов для ключа doyle, чтобы убедиться, что все прошло правильно. На выводе должно получиться следующее:

Mr. Sherlock Holmes, who was usually very late in the mornings, save upon those not infrequent occasions when he was up all night, was seated at the breakfast table. I stood upon the hearth-rug and picked up the stick which our visitor had left behind him the night before. It was a fine, thick piec

После корректной загрузки корпусов текстов переходим к токенизации строк

вслова. На данный момент Python не распознает слова, он работает с символами, такими как буквы, числа и знаки препинания. Чтобы это исправить, мы используем функцию make_word_dict(), которая в качестве аргумента будет получать strings_by_author, разбивать эти строки на слова и возвращать словарь words_by_author с фамилиями авторов в качестве ключей и списком слов

вкачестве значений .

Стилометрия опирается на подсчет слов, следовательно, лучше всего она работает, когда каждый корпус имеет одинаковую длину. Есть несколько способов обеспечить такое сравнение подобного с подобным. С помощью разбивки мы разделим текст на блоки, скажем, по 5000 слов, и сравним эти блоки. Нормализацию можно также производить, используя вместо прямого подсчета относительную частотность или усекая все корпуса по размеру наименьшего из них.

Рассмотрим вариант с усечением. Передадим словарь в другую функцию, find_shortest_corpus(), которая вычисляет количество слов в списке каждого

Проект #2: «Собака Баскервилей», «Война миров» и «Затерянный мир»       65

автора и возвращает длину самого короткого корпуса. В табл. 2.1 показана длина каждого корпуса.

Таблица 2.1. Длина (количество слов) каждого корпуса

Поскольку наименьший корпус здесь представляет робастный датасет почти из 60 000 слов, мы используем переменную len_shortest_path, чтобы обрезать другие два корпуса до этой длины, и уже затем перейдем к анализу. При этом мы, конечно же, предполагаем, что обрезаемое содержание текстов не сильно отличается от оставляемого.

На следующих пяти строках вызываются функции, выполняющие стиломет­ рический анализ, представленный в разделе «Стратегия» на с. 58. Все эти функции получают в качестве аргумента словарь words_by_author, и большая их часть также получает len_shortest_corpus. Данные функции мы рассмотрим, как только закончим подготовку текстов к анализу.

Загрузка текста и построение словаря слов

В листинге 2.2 определяются две функции. Первая считывает текстовый файл в виде строки. Вторая создает словарь с именем каждого автора в качестве ключа и его романом, токенизированным из непрерывной строки в отдельные слова, в качестве значения.

Листинг 2.2. Определение функций text_to_string() и make_word_dict() stylometry.py, часть 2

def text_to_string(filename):

"""Читаем текстовый файл и возвращаем строку.""" with open(filename) as infile:

return infile.read()

def make_word_dict(strings_by_author):

"""Возвращаем словарь слов-токенов корпусов по автору.""" words_by_author = dict()

for author in strings_by_author:

tokens = nltk.word_tokenize(strings_by_author[author])

words_by_author[author] = ([token.lower() for token in tokens if token.isalpha()])

return words_by_author

Проект #2: «Собака Баскервилей», «Война миров» и «Затерянный мир»       67

Если у вас по-прежнему возникают сложности с загрузкой файлов корпусов, попробуйте добавить аргумент errors:

with open(filename, encoding='utf-8', errors='ignore') as infile:

Ошибки можно игнорировать, потому что эти текстовые файлы были скачаны как UTF-8 и уже проверены с помощью этого подхода. Более подробно о UTF-8 можете почитать на https://docs.python.org/3/howto/unicode.html.

Далее определяем функцию make_word_dict(), которая будет по имени автора получать словарь строк и возвращать словарь слов . Сначала инициализируем пустой словарь words_by_author. Затем перебираем ключи в словаре strings_by_ author. Используем метод NLTK word_tokenize() и передаем ему ключ словаря строк. В результате получим список токенов, которые будут служить в качестве значения словаря для каждого автора. Токены — это просто нарезанные фрагменты корпуса, как правило, предложения или слова.

Следующий сниппет демонстрирует, как непрерывная строка преобразуется

всписок токенов (слов и знаков препинания):

>>>import nltk

>>>str1 = 'The rain in Spain falls mainly on the plain.'

>>>tokens = nltk.word_tokenize(str1)

>>>print(type(tokens))

<class 'list'>

>>> tokens

['The', 'rain', 'in', 'Spain', 'falls', 'mainly', 'on', 'the', 'plain', '.']

Это похоже на использование встроенной в Python функции split(), но split() не получает токены с лингвистической точки зрения (заметьте, что точка не токенизируется).

>>>my_tokens = str1.split()

>>>my_tokens

['The', 'rain', 'in', 'Spain', 'falls', 'mainly', 'on', 'the', 'plain.']

После получения токенов заполняем словарь words_by_author с помощью спискового включения (list comprehension) . Списковое включение — быстрый способ выполнения циклов в Python. Чтобы обозначить список, нужно заключить код в квадратные скобки. Преобразуем токены в нижний регистр и используем встроенный метод isalpha(), который возвращает True, если все символы в токене являются частью алфавита, и False в противном случае. Так мы отфильтруем числа и знаки препинания. Это также исключит слова с дефисами и имена. Завершаем процесс возвращением словаря words_by_author.

68      Глава 2. Установление авторства с помощью стилометрии

Поиск самого короткого корпуса

В компьютерной лингвистике частотность означает количество вхождений в корпусе. Таким образом, частотность — это количество, и методы, которые вы далее будете использовать, возвращают словарь слов и их количество. Чтобы сравнить количество значимым образом, все корпусы должны иметь одинаковое количество слов.

Поскольку три используемых в нашем случае корпуса достаточно велики (см. табл. 2.1), можно безопасно нормализовать их, обрезав до длины самого короткого. В листинге 2.3 определяется функция, которая находит самый короткий корпус в словаре words_by_author и возвращает его длину.

Листинг 2.3. Определение функции find_shortest_corpus() stylometry.py, часть 3

def find_shortest_corpus(words_by_author):

"""Вернуть длину самого короткого корпуса.""" word_count = []

for author in words_by_author: word_count.append(len(words_by_author[author])) print('\nNumber of words for {} = {}\n'.

format(author, len(words_by_author[author]))) len_shortest_corpus = min(word_count)

print('length shortest corpus = {}\n'.format(len_shortest_corpus)) return len_shortest_corpus

В начале определяем функцию, получающую в качестве аргумента словарь words_by_author, и сразу создаем пустой список для подсчета слов.

Далее перебираем имена авторов (ключи) в словаре. Получаем длину значения для каждого ключа, являющегося объектом-списком, и прибавляем длину в список word_count. Здесь длина представляет количество слов в корпусе. Для каждого прохода цикла выводим имя автора и длину токенизированного корпуса.

Когда цикл завершается, используем встроенную функцию min() для получения наименьшего количества слов и присваиваем его переменной len_shortest_ corpus. Выводим ответ, после чего возвращаем эту переменную.

Сравнение длины слов

Одна из особенностей стиля каждого автора — его словарный запас. Фолкнер заметил, что Хемингуэй никогда не заставлял читателя прибегать к помощи словаря; а Хемингуэй обвинил Фолкнера в использовании «10-долларовых слов». Авторский стиль определяется также длиной слов и характерным лексиконом; это мы рассмотрим немного позже.

Проект #2: «Собака Баскервилей», «Война миров» и «Затерянный мир»       69

Влистинге 2.4 определяется функция сравнения длины слов для каждого корпуса и построения графика результатов в виде распределения частотности.

Враспределении частотности длина слов отражается согласно количеству вхождений слов каждой длины. К примеру, слова в шесть букв у одного автора могут встречаться 4000 раз, а у другого — 5500. Распределение частотности позволяет проводить сравнение по диапазонам различных длин слов, а не по усредненному значению длины.

Функция листинга 2.4 с помощью среза уменьшает списки слов до длины самого короткого корпуса, чтобы результаты не искажались размером романа.

Листинг 2.4. Определение функции word_length_test() stylometry.py, part 4

def word_length_test(words_by_author, len_shortest_corpus):

"""Распределение частотности длины слов в корпусах по автору, по самому короткому корпусу."""

by_author_length_freq_dist = dict() plt.figure(1)

plt.ion()

for i, author in enumerate(words_by_author):

word_lengths = [len(word) for word in words_by_author[author] [:len_shortest_corpus]]

by_author_length_freq_dist[author] = nltk.FreqDist(word_lengths)by_author_length_freq_dist[author].plot(15,

linestyle=LINES[i],

label=author, title='Word Length')

plt.legend()

#plt.show() # Раскомментировать (удалить #) для просмотра графика во время кодирования.

Все стилометрические функции обращаются к словарю токенов. Почти во всех используется параметр длины самого короткого корпуса, чтобы обеспечить согласованность размеров образцов текстов. Эти имена переменных мы задействуем в качестве параметров функций.

Сначала создаем пустой словарь для хранения распределения частотности длин слов по авторам, а затем чертим графики. Поскольку графиков будет несколько, сначала инстанцируем объект фигуры 1. Чтобы графики не исчезли после создания, включаем интерактивный режим с помощью plt.ion().

Далее перебираем авторов в токенизированном словаре . Посредством функции enumerate() генерируем индекс для каждого автора, который будем использовать для определения стиля линии графика. Для каждого автора применяем списковое включение, чтобы получить длину каждого слова в списке значений, диапазон

70      Глава 2. Установление авторства с помощью стилометрии

которого уменьшен до длины самого короткого корпуса. В результате получим список, где каждое слово заменено целым числом, показывающим его длину.

Теперь начинаем заполнять новый словарь по авторам распределениями частотностей. Здесь мы используем nltk.FreqDist(), получающую список длин слов и создающую объект данных с информацией о частотности слов, которую мы отразим на графике.

Словарь покажем на графике с помощью метода класса plot(), не ссылаясь на pyplot через plt . Таким образом, мы сначала отразим на графике наиболее часто встречающийся образец, сопровождаемый количеством заданных образцов, в данном случае 15. Это означает, что мы увидим распределение частотности слов длиной от 1 до 15 букв. Далее используем i для выборки из списка LINES и завершаем предоставлением метки и названия. Метку мы используем в легенде, вызываемой с помощью plt.legend().

Заметьте, что можно изменить способ формирования графика распределения частотности при помощи параметра cumulative. Если вы установите cumulative=True, то увидите кумулятивное распределение (рис. 2.3, слева). В противном случае plot() по умолчанию использует cumulative=False, и вы увидите фактическое количество вхождений, упорядоченных от большего к меньшему (рис. 2.3, справа). Для данного проекта продолжим использовать вариант по умолчанию.

Рис. 2.3. Кумулятивный график NLTK (слева) и распределение частотности по умолчанию (справа)

Вызываем метод plt.show() для отображения графика, но пока оставляем его закомментированным. Если вы захотите сразу же увидеть график, то можете раскомментировать метод. Обратите внимание, что при запуске этой программы через Windows PowerShell графики могут закрываться сразу, пока вы не

72      Глава 2. Установление авторства с помощью стилометрии

Определяем функцию, получающую в качестве аргументов переменные словаря слов и длины самого короткого корпуса. Далее инициализируем словарь для хранения распределения частотности стоп-слов для каждого автора. Чертить все графики на одном рисунке — не самая лучшая идея, поэтому мы создадим новый рисунок под номером 2.

Присваиваем локальную переменную stop_words корпусу стоп-слов NLTK для английского языка. По множествам поиск происходит быстрее, чем по спискам, поэтому делаем корпус множеством для дальнейшего ускорения поиска по нему. Следующие две строки, пока закомментированные, выводят количество стопслов (179) и сами стоп-слова.

Перебираем авторов в словаре words_by_author. С помощью спискового включения выбираем все стоп-слова в корпусе каждого автора и используем их в качестве значения в новом словаре stopwords_by_author. В следующей строке передаем этот словарь NLTK методу FreqDist() и используем вывод для заполнения словаря stopwords_by_author_freq_dist. Он будет содержать данные, необходимые для создания графиков распределения частотности для каждого автора.

Повторяем код, использованный для отрисовки графика длин слов в листинге 2.4, но количество образцов устанавливаем равным 50 и даем ему другое имя. Таким образом, мы построим график для 50 наиболее часто используемых стоп-слов (рис. 2.4).

Дойл и неизвестный автор используют стоп-слова похожим образом. На этот момент два проведенных теста указывают на Дойла как на более вероятного автора неизвестного текста, но окончательные выводы делать рано.

Сравнение частей речи

Теперь сравним используемые в рассматриваемых корпусах части речи. NLTK задействует­ для распознавания разметчик частей речи (part-of-speech, POS), называемый PerceptronTagger. Разметчики POS обрабатывают последовательность токенизированных слов и прикрепляют тег POS к каждому слову (табл. 2.2).

Разметчики, как правило, обучаются на больших датасетах вроде Penn Treebank или Brown Corpus, что делает их намного более точными, но все же несовершенными. Также можно найти обучающие данные и разметчики для других языков. Тем не менее вам не стоит озадачиваться всеми этими терминами и их сокращениями. Как и в предыдущих тестах, здесь вам понадобится только сравнить линии на графиках.

В листинге 2.6 определяется функция построения графика распределения частотности POS в трех корпусах.

Проект #2: «Собака Баскервилей», «Война миров» и «Затерянный мир»       73

50 а -

К

Рис. 2.4. График частотности 50 самых используемых стоп-слов каждым автором

Таблица 2.2. Части речи со значениями тегов

74      Глава 2. Установление авторства с помощью стилометрии

Таблица 2.2 (окончание)

Листинг 2.6. Определение функции parts_of_speech_test() stylometry.py, часть 6

def parts_of_speech_test(words_by_author, len_shortest_corpus):

"""Нарисуем график использования автором разных частей речи"""

by_author_pos_freq_dist = dict() plt.figure(3)

for i, author in enumerate(words_by_author):

pos_by_author = [pos[1] for pos in nltk.pos_tag(words_by_author[author] [:len_shortest_corpus])]

by_author_pos_freq_dist[author] = nltk.FreqDist(pos_by_author) by_author_pos_freq_dist[author].plot(35,

label=author,

linestyle=LINES[i], title='Part of Speech')

plt.legend()

plt.show()

Определяем функцию, получающую в качестве аргументов опять же словарь слов и длину самого короткого корпуса. Далее инициализируем словарь для хранения распределения частотности POS для каждого автора, после чего вызываем функцию для создания третьего рисунка.

76      Глава 2. Установление авторства с помощью стилометрии

И снова кривая неизвестного автора больше соответствует кривой Дойла, нежели Уэллса. Это указывает на то, что корпус неизвестного автора принадлежит перу Дойла.

Сравнение лексикона авторов

Для сравнения лексиконов трех корпусов мы будем использовать случайную величину, распределенную по закону хи-квадрат (X2), также называемую статистическим критерием. На ее основе мы измерим «расстояния» между лексиконами, используемыми в корпусе неизвестного автора и в корпусах известных. Самые близкие лексиконы окажутся наиболее схожими.

Здесь O — это наблюдаемое количество слов, а E — это ожидаемое их количество при условии, что сравниваемые корпусы относятся к одному автору.

Если оба романа написал Дойл, то в обоих доля наиболее часто используемых слов должна быть одинаковой или схожей. Статистический критерий позволяет квантифицировать степень их схожести посредством измерения количественной разницы использования каждого слова. Чем ниже статистический критерий хи-квадрат, тем больше сходство двух распределений.

В листинге 2.7 определяется функция для сравнения лексиконов трех корпусов.

Листинг 2.7. Определение функции vocab_test() stylometry.py, часть 7

def vocab_test(words_by_author):

"""Сравнение лексиконов авторов на основе статистического теста хи-квадрат"""

chisquared_by_author = dict() for author in words_by_author:

if author != 'unknown':

combined_corpus = (words_by_author[author] + words_by_author['unknown'])

author_proportion = (len(words_by_author[author])/ len(combined_corpus))

combined_freq_dist = nltk.FreqDist(combined_corpus) most_common_words = list(combined_freq_dist.most_common(1000)) chisquared = 0

for word, combined_count in most_common_words: observed_count_author = words_by_author[author].count(word) expected_count_author = combined_count * author_proportion chisquared += ((observed_count_author -

expected_count_author)**2 / expected_count_author)

Проект #2: «Собака Баскервилей», «Война миров» и «Затерянный мир»       77

chisquared_by_author[author] = chisquared print('Chi-squared for {} = {:.1f}'.format(author, chisquared))

most_likely_author = min(chisquared_by_author, key=chisquared_by_author.get) print('Most-likely author by vocabulary is {}\n'.format(most_likely_author))

Функции vocab_test() требуется словарь слов, на этот раз без длины самого короткого корпуса. Хотя, как и в предыдущих случаях, она сначала создает новый словарь для хранения значения хи-квадрат для каждого автора, после чего перебирает словарь слов.

Для вычисления хи-квадрата нужно объединить корпус каждого автора с корпусом неизвестного автора. Нам не нужно совмещать unknown с самим собой, для чего используем условную конструкцию . Для текущего цикла совмещаем корпус автора с неизвестным корпусом, а затем получаем пропорцию слов для данного автора путем деления длины его корпуса на длину совмещенного корпуса. Далее получаем распределение частотности совмещенного корпуса, вызвав nltk.FreqDist().

Теперь создаем список из 1000 самых распространенных слов в совмещенном тексте, для чего используем метод most_common(), которому передаем значение 1000. Точного критерия для количества рассматриваемых в стилометрическом анализе слов не существует. В литературе чаще всего предполагается использование числа в диапазоне от 100 до 1000. А раз мы работаем с большими текстами, то и предпочтение отдаем большему значению.

Инициализируем переменную chisquared с 0, затем запускаем вложенный цикл for, который перерабатывает список most_common_words . Метод most_common() возвращает список кортежей, каждый из которых содержит слово и количество его вхождений.

[('the', 7778), ('of', 4112), ('and', 3713), ('i', 3203), ('a', 3195),

--snip--]

Далее для каждого автора мы получаем найденное количество слов из словаря. Для Дойла это будет количество наиболее употребляемых слов в корпусе «Собака Баскервилей». Затем получаем ожидаемое количество слов для Дойла, если бы «Собаку Баскервилей» и неизвестный корпус написал он. Для этого умножаем количество вхождений в совмещенном корпусе на ранее вычисленную пропорцию для автора. Далее применяем формулу хи-квадрат и добавляем результат в словарь, отслеживающий показатель хи-квадрат каждого автора . В итоге получим результат для каждого автора.

Чтобы найти автора с наименьшим показателем хи-квадрат, вызываем встроенную функцию min() и передаем ей словарь вместе с ключом словаря, который возвращается из метода get(). Так мы получим ключ, соответствующий минимальному значению. Это важно. Если опустить последний аргумент, min() вернет

78      Глава 2. Установление авторства с помощью стилометрии

минимальный ключ на основе алфавитного порядка имен, а не их показателя хи-квадрат. Подобная ошибка показана в следующем сниппете:

>>>print(mydict)

{'doyle': 100, 'wells': 5}

>>>minimum = min(mydict)

>>>print(minimum)

'doyle'

>>>minimum = min(mydict, key=mydict.get)

>>>print(minimum)

'wells'

Легко предположить, что функция min() возвращает минимальное численное значение, но, как вы видите, по умолчанию оно выглядит как ключи словаря.

Завершите функцию выводом имени наиболее вероятного автора, исходя из показателя хи-квадрат.

Chi-squared for doyle = 4744.4 Chi-squared for wells = 6856.3

Наиболее вероятным по лексикону автором является doyle

И еще один тест показал, что автором является Дойл!

Вычисление коэффициента Жаккара

Для определения степени сходства между созданными из корпусов множествами мы будем использовать коэффициент сходства Жаккара, также называемый

пересечением относительно объединения (intersection over union). Это просто область пересечения двух множеств, поделенная на область объединения этих множеств (рис. 2.6).

Чем больше пересечений двух множеств, созданных из двух текстов, тем более вероятно, что написаны они одним автором. В листинге 2.8 определяется функция для измерения сходства множества образцов.

Листинг 2.8. Определение функции jaccard_test() stylometry.py, часть 8

def jaccard_test(words_by_author, len_shortest_corpus):

"""Вычислить коэффициент сходства Жаккара каждого корпуса к неизвестному корпусу"""

jaccard_by_author = dict()

unique_words_unknown = set(words_by_author['unknown'] [:len_shortest_corpus])

authors = (author for author in words_by_author if author != 'unknown') for author in authors:

unique_words_author = set(words_by_author[author][:len_shortest_ corpus])

80      Глава 2. Установление авторства с помощью стилометрии

Коэффициент Жаккара работает с уникальными словами, поэтому потребуется преобразовать корпус в множества, чтобы избавиться от повторений. Сначала мы создадим множество из корпуса unknown. Далее переберем известные корпусы, преобразуя их во множества и сравнивая со множеством unknown. Не забудьте при создании множеств обрезать все корпусы до длины самого короткого.

Прежде чем выполнять цикл, используйте выражение-генератор для получения из словаря words_by_author имен авторов за исключением unknown . Выражение-генератор (generator expression) — это функция, возвращающая объект, значения которого можно перебрать поочередно. Оно во многом похоже на списковое включение, но вместо квадратных скобок заключается в кавычки. При этом выражение-генератор вместо построения требующего значительного объема памяти списка элементов получает элементы в реальном времени. Генераторы полезны при работе с большими наборами значений, которые нужно использовать всего раз. Здесь я применю его, чтобы показать, как он работает.

Когда вы присваиваете выражение-генератор переменной, то получаете только тип итератора под названием «объект генератора» (generator object). Сравните этот процесс с созданием списка:

>>>mylist = [i for i in range(4)]

>>>mylist

[0, 1, 2, 3]

>>>mygen = (i for i in range(4))

>>>mygen

<generator object <genexpr> at 0x000002717F547390>

Выражение-генератор в предыдущем фрагменте полностью аналогично следующей функции-генератору:

def generator(my_range):

for i in range(my_range): yield i

В то время как инструкция return завершает функцию, инструкция yield приостанавливает ее выполнение и отправляет значение обратно тому, кто ее вызвал. Позже функция сможет возобновить выполнение с момента, на котором остановилась. Когда генератор достигает конца, он оказывается «пуст» и повторно не может быть вызван.

Вернемся к коду. Запускаем цикл for при помощи генератора authors. Находим уникальные слова для каждого известного автора, как делали это для unknown. Затем используем встроенную функцию intersection() для нахождения всех слов, общих для множества известного автора и множества unknown. Их пересечение представляет наибольшее множество, содержащее все элементы,