книги хакеры / журнал хакер / 162_Optimized

сообщениевсвойблог,должентутжеувидетьэтосообщение, иначеонподумает,чточто-тосломалось.Авофренд-лентедрузей пользователяэтосообщениеможетпоявитьсяичерезминуту.

Знаятакиеособенности,можноприменятьпрекрасный метод,которыйназываютотложеннойобработкой.Егосутьзаключаетсявтом,чтоданныеобрабатываютсявтотмомент,когда этонаиболееудобно.Например,пять-шестьлетназад,когда железобылонетакимпроизводительным,мывсезапускали cron’ыпообработкестатистикипоночам.Вдальнейшеммы будемговоритьвтомчислеиобинструментах,которыеиспользуютсядляреализациимасштабированиявовремени,например обочередях.

ТРЕХЗВЕННАЯСТРУКТУРА

Чтобыговоритьнаодномязыке,приведемещеодноопреде- ление—определениетакназываемойтрехзвеннойструктуры системы.Тризвена—этофронтенд,бэкендихранениеданных.

Каждоезвеновыполняетсвоифункции,отвечаетзаразлич- ныестадиивобработкезапросовипо-разномумасштабируется. Первоначальнозапроспользователяприходитнафронтенд.

Фронтендыотвечают,какправило,заотдачустатических файлов,первичнуюобработкузапросаипередачуегодальше (своемуапстриму,бэкенду).Второезвено,кудаприходитзапрос (ужепредварительнообработанныйфронтендом),—этобэкенд. Бэкендзанимаетсявычислениями—именноонотвечаетзато, чтобывычислить,обработать,переработать,повернуть,перевернуть,перекрутить,смасштабироватьитакдалее.Настороне бэкенда,какправило,реализуетсябизнес-логикапроекта.

Следующийслой,которыйвступаетвделообработкизапро- са,—этохранениеданных,которыеобрабатываютсябэкендом. Этоможетбытьбазаданных,файловаясистема,даивообщечто угодно.Внашихстатьяхмыпланируемподробноописать,как масштабируетсякаждоеизэтихзвеньев.Начнемсфронтенда.Для чегооннужен,мырасскажемвследующемномере.z

HIGHLOAD-ИНСТРУКТОРЫ

ОГЛАВЛЕНИЕ

Урок1

1.Общаяархитектурасистемы

1.1.Монолитноеприложение: плюсыиминусы

1.2.Сервис-ориентированнаяархитектура

2.Масштабирование архитектурногорешения

2.1.Вертикальноемасштабирование

2.2.Горизонтальноемасштабирование

2.3.Масштабированиевовремени

3.Трехзвеннаяструктура

Урок2

4.Масштабированиефронтенда

4.1.Задачи,решаемыефронтендом

4.1.1.Отдачастатическогоконтента

4.1.1.1.ИспользованиеCDNдляотдачи статическогоконтента

4.1.2.Буферизациязапросов

4.1.3.Обслуживаниемедленныхклиентов

4.2.Балансировканагрузки

4.3.Heartbeat,CARP-соединения

4.4.Проблемаодновременного переподключенияклиентов

Урок3

5.Масштабированиебэкенда

5.1.Функциональноеразделение

5.2.Классическоегоризонтальное

масштабирование

5.2.1.Низкаястепеньсвязностикода

5.2.2.Share-nothingдлягоризонтального масштабирования

5.2.3.Слоистостькода

5.2.4.Минимизацияиспользованиясложных

запросовсразукнесколькимтаблицам

5.3.Кеширование

5.3.1.Единыйкешдлявсехбэкендов

5.3.2.Проблемаинвалидациикеша

5.3.3.Проблемастартаснепрогретымкешем

5.4.Проблемаантишквала

5.5.Проблемаинтеркоммуникации сервисов

Урок4

6.Масштабированиевовремени

6.1.Асинхроннаяобработка

6.2.Постобработка

6.3.Очереди

Урок5

7.Масштабированиебазданных

7.1.Различныетипыбазданных (реляционные,NoSQL)

7.2.Тюнингзапросов

7.3.Шардинг

7.3.1.Центрдиспетчеризации

7.3.2.Правилашардинга

7.3.3.Виртуальныешарды

7.4.Партиционирование

7.5.Кластеризация

7.6.Репликация

7.6.1.Записьнамастер,чтениесослейва

7.7.Денормализацияданных

7.8.Использованиехранимыхпроцедур

Урок6

8.Надежность

8.1.Избыточность

8.2.Дублирование

8.3.Принципыразработки, увеличивающиенадежность системы

9.Эксплуатация

9.1.Мониторингипредупреждение проблем

9.2.Dev-ops(онжедеплой)

9.3.Прогнозированиеростанагрузки

10.Паттернымасштабируемыхархитектур

10.1.Бинарныйкластер

10.2.Раздачавидео

10.3.Push-сервера(чаты,переписка, обновления)

ВВЕДЕНИЕ

GNOME родился в 1997 году как ответ на появление среды KDE, базировавшейся на тогда еще проприетарной технологии Qt. За несколько лет развития он превратился из небольшого и не представляющего особого интереса графического рабочего стола в полноценное окружение, способное на равных конкурировать с KDE, и даже когда в 2000 году Qt стал открытым ПО, GNOME продолжил свое развитие и наращивание функционала.

Совсем скоро эта среда начала доминировать на рабочих столах пользователей и сегодня фактически является стандартом для Linuxдесктопа. GNOME по умолчанию используется в таких дистрибутивах, как Ubuntu, Fedora, OpenSUSE, и многих других. Даже несмотря на то, что версия 3.0, радикально изменившая былой облик рабочей среды, многим не пришлась по вкусу, GNOME не теряет приверженность пользователей, которые придают ему более классический вид с помощью различных форков и настроек.

Как же выглядит самая популярная графическая среда UNIX изнутри? Попробуем разобраться.

БАЗОВАЯ АРХИТЕКТУРА

Развитие GNOME всегда происходило эволюционным путем. Заложенные еще в самом начале проекта идеи до сих пор остаются базой для всех остальных компонентов, меняясь лишь качественно. GNOME сменил уже три версии GTK в качестве графического тулкита; идея межпроцессного взаимодействия, изначально реализованная на основе CORBA, была заменена на более легковесный D-Bus; сменилось несколько поколений мультимедийных фреймворков; были добавлены многие другие технологии, которые теперь являются частью GNOME 3.

Одной из отличительных черт проекта GNOME всегда была идея заимствования кода из других проектов. Это может показаться странным, особенно в сравнении

с KDE, но большая часть компонентов GNOME написана вовсе не разработчиками самой среды, а командами, не имеющими с проектом ничего общего. Так, в GNOME используется графический тулкит GTK, изначально созданный для проекта Gimp, в качестве менеджера окон до недавнего времени

был задействован Metacity, в качестве

мультимедиа-фреймворка используется GStreamer, который, в свою очередь, опирается на библиотеку ffmpeg. Firefox уже давно считается стандартным браузером среды наравне с Epiphany.

Фактически изначальная версия GNOME представляла собой всего лишь несколько приложений, способных объединить уже существующие технологии для создания полноценной графической среды. Среди таких приложений были строка состояния, файловый менеджер, конфигуратор и небольшая библиотека libgnome с реализацией часто используемых функций.

Со временем количество собственных разработок в проекте возросло, но общая идея среды, построенной с использованием существующих компонентов, осталась неизменной.

Сами создатели GNOME условно делят свое детище на несколько подуровней, в каждом из которых используются те или

иные наработки сообщества. Мы детально рассмотрим эти уровни и разберемся, как разработчикам удается совместить воедино такое разнообразие технологий.

ЯДРО

Архитектурно GNOME представляет собой набор библиотек и различных механизмов, которые позволяют создавать сложные графические приложения, способные взаимодействовать с другими компонентами среды. На самом низком уровне этого каркаса находится несколько базовых библиотек и фреймворков, среди которых GLib, GObject, libgnome, D-Bus

иGVFS. Это фундамент GNOME, на котором основаны все остальные компоненты среды. Центральной частью этого фундамента является библиотека GLib, расширяющая базовые возможности библиотеки libc. GLib предоставляет множество подсобных функций,

необходимых для разработки многих типов приложений. Среди реализованной в библиотеке функциональности можно отметить большой набор различных типов данных, механизм отладочных сообщений, функции для работы со строками, средства работы с динамической памятью, атомарные потоки и средства синхронизации, генератор псевдослучайных чисел, синтаксический анализатор .ini-подобных конфигурационных файлов и многое другое. Изначально GLib была разработана при создании библиотеки GTK+, но вскоре стала самостоятельной библиотекой, возможности которой используются многими графическими

иконсольными приложениями. Например, GLib активно используется файловым менеджером MC.

На GLib также основана еще одна корневая библиотека проекта GNOME — GObject. Она предоставляет объектную систему (каркас), используемую большинством других компонентов GNOME, а также библиотекой GTK+. GObject позволяет применить принципы разработки ООП к любому поддерживаемому языку программирования (в первую очередь Си), позволяя создавать, копировать, уничтожать объекты и выполнять другие операции.

Чуть выше GLib и GObject находится библиотека libgnome, реализующая ряд высокоуровневых возможностей, которые пригодятся при создании графических приложений и для связи между компонентами графической среды. Библиотека включает

в себя еще более полный набор GLib-подобных функций, инструменты интернационализации, хранения конфигурации, запуска новых приложений и так далее. В настоящее время библиотека объявлена устаревшей, а весь ее функционал постепенно переносится в GLib

идругие библиотеки и инструменты, используемые в среде GNOME.

Для взаимодействия приложений с другими элементами среды GNOME используется шина D-Bus, реализующая механизм передачи сообщений между различными приложениями. D-Bus был создан независимой командой разработчиков в качестве универсального средства взаимодействия для любых возможных приложений и теперь является частью freedesktop.org и стандартом передачи сообщений в UNIX. Шина D-Bus заменила не только громоздкий и медлительный RCP CORBA,

WebKitGTK+ — движок WebKit, интегрированный в GTK+. Он может быть использован для встраивания веб-страниц в другие приложения, например браузер Epiphany, почтовый клиент Evolution или интерфейс GNOME Shell. Сам GNOME Shell, используемый по умолчанию в GNOME 3, полностью реализован на языке JavaScript с использованием движка Gjs, основанного на SpiderMonkey и GObject.

МУЛЬТИМЕДИА

Немаловажное место в GNOME занимает мультимедийная подсистема, которая также основана на сторонних наработках. В ее основе лежат три компонента: PulseAudio, Canberra и GStreamer.

Звуковой сервер PulseAudio выполняет задачи интеллектуального управления звуковыми потоками, такие как установка различных уровней громкости для отдельных приложений, смешивание аудиопотоков, проигрывание потока с предсказуемой задержкой, преобразование аудиоформатов, синхронизация потоков воспроизведения, встроенный микшер. Кроме того, демон поддерживает систему плагинов, которая позволяет расширять набор доступных средств обработки звука новыми эффектами. До появления PulseAudio в GNOME применялся звуковой сервер ESD, созданный для графической среды Enlightenment.

Поверх PulseAudio работает мультимедийный фреймворк GStreamer, выполняющий роль универсального всеядного комбайна, способного проигрывать большинство форматов аудио- и видеоданных. GStreamer основан на системе плагинов, реализующих поддержку тех или иных форматов контейнеров или методов сжатия данных. При обработке мультимедиаданных происходит их передача по цепочке плагинов, а вывод направляется в PulseAudio (ALSA, OSS, по запросу), или в указанный буфер, или в окно X Window. Для приложений доступен API,

с помощью которого можно управлять воспроизведением и выполнять другие операции над данными.

Для вывода различных уведомлений и звукового сопровождения работы среды используется простая библиотека Canberra.