Грамматика и язык Python
Компилятор предназначен для преобразования одного языка в другой. Его можно сравнить с переводчиком: вы нанимаете переводчика, который слушает, как вы говорите на английском, а потом повторяет ваши слова на другом языке — скажем, на японском.
Для этого переводчик должен понимать грамматические структуры как исходного, так и целевого языка.
Некоторые компиляторы выполняют компиляцию в низкоуровневый машинный код, который может напрямую выполняться в системе. Другие компиляторы компилируют код в промежуточный язык, который выполняется виртуальной машиной.
Одним из факторов при выборе компилятора становятся требования к портируемости системы. Java и .NET CLR выполняют компиляцию в промежуточный язык, чтобы cкомпилированный код мог переноситься между разными системными архитектурами. C, Go, C++ и Pascal компилируются в исполняемые двоичные файлы. Двоичный файл собирается для той платформы, на которой он компилировался.
Приложения Python обычно поставляются в виде исходного кода. Интерпретатор Python должен преобразовать исходный код Python и выполнить его в один этап. Среда выполнения CPython компилирует код при первом выполнении. Этот шаг остается незаметным для рядового пользователя.
Код Python не компилируется в машинный код. Он компилируется в низкоуровневый промежуточный язык, который называется байт-кодом. Байт-код хранится в файлах .pyc и кэшируется для выполнения. Если одно приложение Python будет выполняться дважды без изменения исходного кода, то второй запуск будет проходить быстрее. Это связано с тем, что приложение запустит cкомпилированный байт-код, вместо того чтобы каждый раз компилировать его заново.
Книги для программистов: https://t.me/booksforits
60 Грамматика и язык Python
ПОЧЕМУ CPYTHON НАПИСАН НА C,
А НЕ НА PYTHON
Буква C в CPython относится к языку программирования C — она означает, что этот дистрибутив Python написан на языке C.
В основном так и есть. Компилятор в CPython написан на чистом C. Тем не менее многие модули стандартной библиотеки написаны на чистом Python или комбинации C и Python.
Так почему же компилятор CPython написан на C, а не на Python?
Ответ основан на принципах работы компиляторов. Существуют две разновидности компиляторов:
1.Автономные компиляторы пишутся на том языке, который они компилируют (как компилятор Go). Для этого используется процесс, называемый самозапуском (bootstrapping).
2.Компиляторы типа «исходный код в исходный код» пишутся на другом языке, для которого уже существует компилятор.
Если вы создаете новый язык программирования с нуля, то вам понадобится исполняемое приложение для компиляции вашего компилятора! Для выполнения чего-либо нужен компилятор, поэтому при разработке новых языков они часто сначала пишутся на старых, более укоренившихся языках.
Также существуют инструменты, которые могут взять спецификацию языка и построить для него парсер; вы узнаете о них позднее в этой главе. Среди популярных «компиляторов компиляторов» можно выделить GNU Bison, Yacc и ANTLR.
СМ. ТАКЖЕ
Есливызахотитебольшеузнатьопарсерах,ознакомьтесьспроектомLark— парсеромдляконтекстно-независимойграмматики,написаннымнаPython.
Отличным примером самозапуска компилятора служит язык программирования Go. Первый компилятор Go был написан на C; после того как код Go стал компилироваться, компилятор был переписан на Go.
1 ttps://github.com/lark-parser/lark.
Книги для программистов: https://t.me/booksforits
Почему CPython написан на C, а не на Python 61
В отличие от этого, CPython сохраняет свое наследование C. Многие модули стандартной библиотеки (такие, как sslmodule или socketsmodule) переписаны на C для обращения к низкоуровневым API операционной системы.
API ядер Windows и Linux, предназначенные для создания сетевых сокетов1, работы с файловой системой2 или взаимодействия с экраном3, были написаны на C, поэтому логично, что уровень расширяемости был ориентирован на язык C. Стандартная библиотека Python и модули C будут рассмотрены далее.
Существует компилятор Python, написанный на Python, — он называется PyPy. На логотипе PyPy изображен уроборос4, олицетворяющий природу самодостаточности компилятора.
ПРИМЕЧАНИЕ
Воставшейся части книги обозначение ./python будет относиться к ском пилированной версии CPython. Тем не менее реальная команда будет зависеть от операционной системы.
ВWindows:
>python.exe
ВLinux:
$ ./python
В macOS:
$ ./python.exe
Другой пример кросс-компилятора для Python — Jython. Jython написан на Java и компилирует исходный код Python в байт-код Java. Подобно тому как CPython упрощает импортирование библиотек C и использование их из Python, Jython упрощает импортирование и использование модулей и классов Java.
Первым шагом создания компилятора становится определение языка. Например, следующий фрагмент не является валидным Python-кодом:
1 https://realpython.com/python-sockets/.
2 https://realpython.com/working-with-files-in-python/ . 3 https://realpython.com/python-gui-with-wxpython/.
4 Змей, кусающий себя за хвост. — Примеч. пер.
Книги для программистов: https://t.me/booksforits
62 Грамматика и язык Python
def my_example() <str> :
{
void* result = ;
}
Чтобы компилятор мог обработать код языка, ему необходимы строгие правила грамматической структуры этого языка.
СПЕЦИФИКАЦИЯ ЯЗЫКА PYTHON
В исходном коде CPython содержится определение языка Python. Этот документ представляет собой эталонную спецификацию, используемую всеми интерпретаторами Python.
Спецификация содержит как формат, рассчитанный на чтение человеком, так и формат для машинного чтения. В документации содержится подробное объяснение языка Python с описанием разрешенных конструкций и поведения каждой команды.
Документация языка
Каталог Doc reference содержит разъяснение особенностей языка Python в формате reStructuredText. Из этих файлов составлено официальное справочное руководство Python на сайте docs.python.org/3/reference.
В каталоге Doc находятся файлы, необходимые для понимания всего языка, его структуры и ключевых слов:
cpython/Doc/reference
compound_stmts.rst datamodel.rst executionmodel.rst expressions.rst grammar.rst import.rst
index.rst
introduction.rst lexical_analysis.rst simple_stmts.rst toplevel_components.rst
(if, while, for . .) • •
••• , •
- €€ Python †€ ‡ • Python ˆ • - €€ Python
€ € (import) ‹ • • Œ • Ž €• ‘ •
’ ( , , € ‘ )
“ (assert, import, return, yield . .)
• • Python ( €)
Книги для программистов: https://t.me/booksforits
Спецификация языка Python 63
Пример
В файле Doc reference compound_stmts.rst встречается простой пример определения оператора with.
Оператор with существует в нескольких формах; простейший вариант — реа лизация менеджера контекста1 и вложенного блока кода:
with x():
...
Результат можно присвоить переменной при помощи ключевого слова as:
with x() as y:
...
Также можно объединять менеджеры контекстов в цепочку через запятую:
with x() as y, z() as jk:
...
Документация содержит спецификацию языка, предназначенную для чтения человеком. Спецификация, предназначенная для машинного чтения, располагается в одном файле Grammar python.gram.
Файл грамматики
Файл грамматики Python использует спецификацию в формате PEG (Parsing Expression Grammar). В файле грамматики могут использоваться следующие обозначения:
zz * — повторение;
zz + — минимум одно вхождение; zz [] — необязательные части; zz | — альтернативы;
zz () — группировка.
1 https://dbader.org/blog/python-context-managers-and-with-statement.
Книги для программистов: https://t.me/booksforits
64 Грамматика и язык Python
Для примера представим, как можно было бы определить чашку кофе:
zz Необходима чашка.
zz Чашка должна содержать как минимум одну порцию эспрессо, но может содержать несколько порций.
zz В чашке может быть молоко, но необязательно. zz В чашке может быть вода, но необязательно.
zz Если в чашке молоко, то оно может быть разного типа — жирное, обез жиренное, соевое и т. д.
В формате PEG заказ кофе может выглядеть так:
coffee: 'cup' ('espresso')+ ['water'] [milk] milk: 'full-fat' | 'skimmed' | 'soy'
СМ. ТАКЖЕ
В CPython 3.9 исходный код CPython содержит два файла граммати ки. Старая — контекстно-свободная грамматика, которая называется формой Бэкуса — Наура (BNF). В CPython 3.10 файл грамматики BNF (Grammar Grammar) был удален.
Форма BNF не привязана к Python и часто используется для записи грам матики во многих других языках.
В этой главе для наглядного представления грамматики будут использоваться синтаксические диаграммы. Синтаксическая диаграмма для команды coffee выглядит так:
cup |
espresso |
water |
full-fat |
|
< |
|
skimmed |
|
|
|
soy |
На синтаксической диаграмме каждая возможная комбинация должна располагаться на одной линии слева направо. Необязательные компоненты можно обойти, а некоторые компоненты могут образовывать циклы.
Книги для программистов: https://t.me/booksforits
Спецификация языка Python 65
Пример: оператор while
Существует несколько разновидностей оператора while. Простейший вариант использования — когда за завершающим двоеточием (:) следует блок кода:
while finished == True: do_things()
В альтернативном варианте используется оператор присваивания, которому в грамматике соответствует обозначение named_expression. Эта новая возможность появилась в Python 3.8:
while letters := read(document, 10): print(letters)
Также за оператором while может следовать оператор else и блок кода:
while item := next(iterable): print(item)
else:
print("Iterable is empty")
Проведя поиск while_stmt в файле грамматики, вы увидите определение:
while_stmt[stmt_ty]:
| 'while' a=named_expression ':' b=block c=[else_block] ...
Символы в кавычках образуют строковый литерал, который называется терминалом (terminal). В частности, терминалы используются для распознавания ключевых слов.
Вэтих двух строках содержатся ссылки на два других определения:
1.block обозначает блок кода с одним или несколькими операторами.
2.named_expression обозначает простое выражение или выражение при-
сваивания.
Если представить оператор while в виде синтаксической диаграммы, она будет выглядеть так:
while named_expression |
: |
block |
else |
: |
block |
Книги для программистов: https://t.me/booksforits