Алгоритмы потоковой передачи данных

мами обработки данных, настроенными на согласованность в распределенной среде.

Распределенное хранилище становится все более важной частью современной ИТ-инфраструктуры. Оно должно быть тщательно спроектировано с учетом характеристик данных и требований задачи. Разделение систем хранения данных на CA, AP и CP полезно для понимания различных компромиссов, связанных с их проектированием.

Теперь обратимся к алгоритмам потоковой передачи данных.

АЛГОРИТМЫ ПОТОКОВОЙ ПЕРЕДАЧИ ДАННЫХ

Данные могут быть ограниченными (bounded) и неограниченными (unbounded). Ограниченные данные — это данные в состоянии покоя, которые обычно об­ рабатываются в пакетном режиме. Потоковая передача — это обработка неогра­ ниченных данных. Приведем пример. Предположим, мы анализируем банковские транзакции на предмет мошенничества. Чтобы выявить мошеннические транз­ акции, которые произошли 7 дней назад, нужно просмотреть данные в состоянии покоя, — это пример пакетного процесса.

Но если необходимо обнаружить мошенничество в режиме реального времени, это будет уже потоковой передачей. Итак, алгоритмы потоковой передачи данных обрабатывают потоки данных. Основная идея состоит в том, чтобы разделить поток входных данных на пакеты, которые затем обрабатываются нодой. По­ токовые алгоритмы должны быть отказоустойчивыми и способными обрабаты­ вать данные, поступающие с определенной скоростью. В наши дни спрос на анализ закономерностей в реальном времени постоянно растет, поэтому увели­ чивается потребность в потоковой обработке. Обратите внимание, что при по­ токовой передаче данные должны обрабатываться быстро, это необходимо учитывать при создании алгоритма.

Применение потоковой передачи

Существует множество примеров полезного применения потоковой передачи.

Вот лишь некоторые из них:

zz Выявление мошенничества. zz Мониторинг системы.