Запуск параллельной обработки на Python

Самый простой способ запустить параллельную обработку на Python — это клонировать текущий процесс, который запустит новый параллельный процесс, называемый дочерним.

Программисты Python (хотя они и не биологи) создали собственный процесс клонирования. Как и в случае с клонированной овцой, кло­ нированный процесс является точной копией исходного процесса.

РАЗРАБОТКА СТРАТЕГИИ МУЛЬТИПРОЦЕССОРНОЙ ОБРАБОТКИ

Первоначально крупномасштабные алгоритмы использовались для работы на огромных машинах, называемых суперкомпьютерами.

Эти суперкомпьютеры использовали одну область памяти. Все ресурсы были локальными — физически размещены на одной машине. Благодаря этому связь между процессорами (CPU) была очень быстрой, и они могли использовать одну и ту же переменную в общей области памяти. В результате развития систем и роста потребности в крупномасштабных алгоритмах суперкомпьютеры полу­ чили распределенную общую память (distributed shared memory‚ DSM), где каждая нода обработки владела частью физической памяти. Наконец, были разработаны слабо связанные кластеры, которые полагаются на обмен сообще­ ниями между нодами. Для крупномасштабных алгоритмов необходимо найти несколько механизмов выполнения, работающих параллельно, чтобы решать сложные задачи (рис. 13.4).

Существуют три стратегии задействования механизмов выполнения:

zz Поиск внутри. Задействовать ресурсы, уже имеющиеся на компьютере. Ис­ пользовать сотни ядер GPU для запуска крупномасштабного алгоритма.

zz Поиск снаружи. С помощью распределенных вычислений найти больше вы­ числительных ресурсов, которые можно одновременно применить для ре­ шения масштабной проблемы.

zz Гибридная стратегия. Использовать распределенные вычисления и при этом на каждой ноде задействовать GPU (или массив GPU) для ускорения вы­ полнения алгоритма.

Введение в CUDA

Графические процессоры изначально были разработаны для обработки графи­ ки, оптимизации работы с мультимедийными данными обычного компьютера. В связи с этим они обладают определенными особенностями, которые отличают их от процессоров (CPU). Например, у них тысячи ядер по сравнению с огра­ ниченным числом ядер CPU. Их тактовая частота намного ниже, чем у CPU. GPU имеют свою собственную DRAM (динамическую память). Например, RTX 2080 от Nvidia имеет 8 ГБ оперативной памяти. Обратите внимание, что GPU являются специализированными устройствами обработки и не имеют некоторых функций CPU, таких как прерывание или адресация к устройству (например, клавиатуры и мыши). Вот как выглядит архитектура графических процессоров (рис. 13.5).

Вскоре после того, как GPU стали распространенным явлением, специалисты по обработке данных начали изучать их на предмет возможности эффективно­ го выполнения параллельных операций. Поскольку типичный GPU имеет ты­ сячи ALU (arithmetic logic unit; арифметико-логическое устройство), он может генерировать тысячи одновременных процессов. Это делает GPU архитектурой, оптимизированной для параллельных вычислений. Следовательно, алгоритмы параллельных вычислений лучше всего запускать на GPU. Например, поиск объектов в видео выполняется по меньшей мере в 20 раз быстрее на GPU по сравнению с CPU. Графовые алгоритмы, которые обсуждались в главе 5, также работают намного быстрее на графических процессорах, чем на обычных.

Рис. 13.5

Чтобы мечты дата-сайентистов о полноценном использовании GPU для алго­ ритмов воплотились в жизнь, в 2007 году Nvidia создала платформу с открытым исходным кодом под названием CUDA (Compute Unified Device Architecture)­ . CUDA превращает CPU и GPU в хост (host) и устройство (device) соответ­ ственно. Хост, то есть центральный процессор, отвечает за вызов устройства, которым является графический процессор. Архитектура CUDA имеет различные уровни абстракций, которые можно представить следующим образом (рис. 13.6).

Python

CUDA-C/C+ Fortran Python GPU

CUDA

CUDA Driver API (‡ˆ‰ Š ˆ )

• • CUDA -€

NVIDIA GPU

Рис. 13.6

Обратите внимание, что CUDA работает поверх графических процессоров Nvidia. Она нуждается в поддержке ядром операционной системы. Изначаль­ но CUDA поддерживалась ядром Linux. Совсем недавно она получила полную поддержку Windows. Кроме того‚ существует CUDA Driver API, который действует как мост между API языка программирования и драйвером CUDA. На верхнем уровне расположена поддержка C, C+ и Python.