1.5. Оперативные и аналитические системы
Базы данных можно использовать для оперативной (текущей) и аналитической обработки информации.
Первоначально базы данных использовались в оперативных системах обработки информации. Данные системы за рубежом получили название On-Line Transaction Processing (OLTP). Общая схема организации OLTP представлена на рис. 1.2.
К середине 90-х годов ХХ века в базах данных класса OLTP скопилось столько хронологической информации, что объем БД резко возрос, а быстродействие начало падать. Стало ясно, что ретроспективную информацию следует периодически передавать в отдельную БД. К тому же ретроспективные данные обладают новым качеством: они позволяют вырабатывать стратегические решения. Возникла необходимость в системах поддержки принятия стратегических решений (СППР). Такие системы получили за рубежом название On-Line Analytical Processing (OLAP).
OLAP использует многомерное представление агрегированных данных для быстрого доступа к важной информации и дальнейшего ее анализа.
Рис. 1.2. Схема организации OLTP
Системы OLAP обеспечивают аналитикам и руководителям быстрый интерактивный доступ к внутренней структуре данных и возможность преобразования исходных данных с тем, чтобы они позволяли отразить структуру системы нужным для пользователя способом. Кроме того, OLAP-системы позволяют просматривать данные и выявлять имеющиеся в них закономерности либо визуально, либо простейшими методами (такими как линейная регрессия), а включение в их арсенал нейросетевых методов обеспечивает существенное расширение аналитических возможностей.
В основе концепции оперативной аналитической обработки (OLAP) лежит многомерное представление данных. Термин OLAP ввел Э.Ф. Кодд (E.F. Codd) в 1993 году. В своей статье он рассмотрел недостатки реляционной модели данных, в первую очередь невозможность «объединять, просматривать и анализировать данные с точки зрения множественности измерений, то есть самым понятным для корпоративных аналитиков способом». Кодд определил общие требования к системам OLAP, расширяющим функциональность реляционных СУБД и включающим многомерный анализ как одну из своих характеристик.
Следует заметить, что Кодд обозначает термином OLAP многомерный способ представления данных исключительно на концептуальном уровне. Используемые им термины – «Многомерное концептуальное представление» (“Multidimensional conceptual view”), «Множественные измерения данных» (“Multiple data dimensions”), «Сервер OLAP» (“OLAP server”) – не определяют физического механизма хранения данных. По Кодду, многомерное концептуальное представление (multi-dimensional conceptual view) является наиболее естественным взглядом управляющего персонала на объект управления. Оно представляет собой множественную перспективу, состоящую из нескольких независимых измерений, вдоль которых могут быть проанализированы определенные совокупности данных. Одновременный анализ по нескольким измерениям данных определяется как многомерный анализ. Каждое измерение включает направления консолидации данных, состоящие из серии последовательных уровней обобщения, где каждый вышестоящий уровень соответствует большей степени агрегации данных по соответствующему измерению. Так, измерение Исполнитель может определяться направлением консолидации, состоящим из уровней обобщения «предприятие – подразделение – отдел - служащий». Измерение Время может включать два направления консолидации – «год – квартал – месяц - день» и «неделя - день», поскольку счет времени по месяцам и по неделям несовместим. В этом случае становится возможным произвольный выбор желаемого уровня детализации информации по каждому из измерений. Операция спуска (drilling down) соответствует движению от высших ступеней консолидации к низшим; напротив, операция подъема (rolling up) означает движение от низших уровней к высшим.
Общая схема организации OLAP представлена на рис. 1.3.
Хранилище данных – предметно-ориентированный, интегрированный, привязанный ко времени и неизменный набор данных, предназначенный для поддержки принятия решений.
Интегрированность означает, что источниками данных могут быть несколько БД, данные в которых различаются форматами и степенью заполнения данных. Эти данные должны быть приведены к «стандарту», используемому в хранилище данных.
Привязка ко времени означает, что исходные данные характеризуют какой-то интервал времени, при этом время присутствует в БД явно. В силу этого вновь поступающие данные не изменяют прежние данные в ХД, а дополняют их.
Рис. 1.3. Схема организации OLAP
Сравнительные характеристики OLTP и OLAP приведены в табл. 1.1.
Сравнительные характеристики OLTP и OLAP Таблица 1.1
Свойство |
OLTP |
OLAP |
Назначение данных |
Оперативный поиск, несложная обработка |
Аналитическая обработка: прогнозирование, моделирование, анализ и выявление связей, выявление статистических закономерностей |
Уровень агрегации данных |
Детальные данные |
Агрегированные данные |
Период хранения данных |
Несколько лет |
Несколько десятков лет |
Изменчивость данных |
Изменяются, добавляются, удаляются |
Добавляются |
Упорядочение данных |
По любому полю |
По хронологии |
Объем обрабатываемой информации |
Средний |
Очень большой |
Скорость обработки |
Средняя |
Очень высокая |
Критерий эффективности работы |
Количество транзакций в единицу времени |
Скорость выполнения сложных запросов |
Загрузка |
Часто, небольшими и средними порциями |
Редко и очень большими порциями |
В составе OLAP можно выделить следующие функциональные элементы (рис. 1.4):
- хранилище данных (ХД);
- менеджер загрузки;
- менеджер хранилища данных;
- менеджер запросов.
Рис. 1.4. Функциональные элементы OLAP
Хранилище данных можно считать базой данных, в которой выделяют электронный архив, хранящий детальные ретроспективные данные, и агрегированные (обработанные данные).
ХД реализуется с помощью многомерной модели, которая имеет несколько разновидностей: собственно многомерная (Multidimensional OLAP – MOLAP), реляционная (Relational OLAP – ROLAP), гибридная (Hibrid OLAP – HOLAP).
Менеджер загрузки осуществляет преобразование данных, поступающих из операционных БД, и прежде всего форматирование по «стандарту» OLAP.
Менеджер хранилища данных выполняет следующие операции:
- анализ непротиворечивости исходных данных;
- создание необходимых индексов и видов;
- денормализацию;
- резервное копирование.
Менеджер запросов управляет пользовательскими запросами.