Методика (методология) построения Хранилищ данных

Существуют различные подходы к стратегии построения корпоративного хранилища данных: построение сверху вниз; снизу вверх; динамическая интеграция данных и др.

Считается, что наиболее эффективным подходом является подход, при котором в процессе разработки и внедрения хранилища данных осуществляется его пошаговое наращивание на основе единой системы классификаторов и общей среды передачи и хранения данных – спиральная модель процесса разработки (рис. 3.7).

Рис. 3.7. Спиральная модель разработки

На каждом шаге развертывания осуществляется реализация одной или ограниченного числа витрин данных по следующему технологическому циклу:

- постановка задачи;

- проектирование;

- реализация;

- внедрение.

Стратегия пошагового наращивания позволяет по завершении каждого цикла ввести в кратчайшие сроки в промышленную эксплуатацию законченную систему, с определенной ограниченной функциональностью. Небольшие масштабы каждого проектного цикла существенно уменьшают потери при возможных проектных ошибках по сравнению с полномасштабным проектированием и созданием системы в целом. Кроме того, поскольку в каждом цикле применяются одни и те же методологические и технологические подходы, а также средства разработки, то время реализации каждой новой витрины будет сокращаться за счет повышения опыта проектной группы и постепенной отладки механизма взаимодействия между заказчиком и разработчиком системы.

3.3. Современный рынок хранилищ данных (dwh)

На рынке ПО предлагается ряд продуктов, которые имеют принципиально разную функциональность, назначение, степень готовности к применению, однако все они позиционируются как хранилища данных. Это затрудняет понимание описаний этих продуктов поставщиками, их сравнение и в конечном итоге выбор продукта для конкретной организации.

Продукты, которые относят к категории хранилищ данных, можно разделить на следующие группы:

- Специальная СУБД;

- Инструмент программиста;

- Отраслевые заготовки хранилищ данных;

- Конструктор;

- Специализированное приложение;

- Комплексная платформа разработки.

Специальная СУБД. Иногда хранилищем данных называют системы управления базами данных (СУБД). Например, СУБД Sybase IQ, предназначенную для создания хранилищ данных, или многомерные СУБД, такие как MS Analysis Services, Oracle Explorer. В этом случае нужно понимать, что речь идет о системе управления базой данных, которая может стать платформой хранилища данных, также как и любая промышленная реляционная СУБД.

Инструмент программиста. К этой группе можно отнести инструменты проектировщика баз данных. Они являются специальными CASE-средствами, ориентированными на создание реляционных баз данных в идеологии хранилищ.

Data warehouse Architect (Sybase). Среда проектировщика базы данных базируется на идеологии хранилищ данных. В ней предлагается создание не просто таблиц, а таблиц фактов или таблиц измерений. В систему заложены знания о структурах «звезда» и «снежинка». Результатом работы системы является логическая и физическая модель базы данных, сгенерированная реляционная база данных будущего хранилища данных. Для завершения работы над хранилищем данных требуется использовать ETL-систему для извлечения, очистки и загрузки данных и OLAP-систему для визуализации данных. По этой технологии можно достаточно быстро создавать простые «фотографические» хранилища данных, уникальные для предприятия, а также с равным успехом использовать ее в софтверной компании (software company – компании-разработчики программного обеспечения) при создании тиражного хранилища данных.

Ascential DataStage (Ascential Software). Система является ETL-инструментом и предназначена для проектирования стадий извлечения данных из исходной базы, преобразования и загрузки в базу данных приемник.

Однако, как это часто бывает, развитие инструмента привело к появлению в нем функции проектирования и генерации приемной базы данных, что позволяет использовать этот инструмент не только как классический ETL, но и как инструмент проектировщика хранилища данных.

Отраслевые заготовки хранилищ данных. Ряд компаний предлагает набор заготовок отраслевых приложений, применение которых сокращает сроки разработки хранилища данных и позволяет использовать опыт других предприятий.

Industry Warehouse Studio (Sybase). Система предоставляет инструменты дизайна хранилища данных и набор заголовок отраслевых решений, которые можно использовать при построении хранилища данных. Система базируется на специализированной СУБД Sybase IQ, оптимизированной для создания хранилища данных. Инструменты дизайна хранилища ориентированы на программиста.

Готовые хранилища данных. Эти системы обладают всеми свойствами конечных клиент-серверных продуктов. Они имеют инсталлятор, готовую базу данных, инструменты настройки информационной модели, предназначенные не для программиста, а для аналитика, административные и пользовательские интерфейсы, встроенные инструменты создания отчетов. Такие системы содержат готовые информационные объекты, свойственные всем деловым хранилищам данных, например, Организационная иерархия, Финансовый показатель, Валюта и др.

CFO Vision (SAS). Система финансовой консолидации, реализованная как готовое хранилище финансовых показателей, включающее технологию сбора данных, структуры хранения данных, алгоритмы консолидации показателей и другие необходимые функции хранилища данных.

Платформа хранилищ данных «Контур» (Intersoft Lab). Финансовое хранилище данных, включающее базу данных, объектно-ориентированную библиотеку классов, наборы административных, дизайнерских, технологических и пользовательских интерфейсов. В системе реализован комплект бизнес-объектов, характерных для деловых хранилищ данных, таких как Организационная структура, Контрагенты, Счета и показатели. Финансовые инструменты, Документы, Бюджеты и др. Система позволяет создавать конечные управленческие приложения при помощи дизайнерских интерфейсов, ориентированных на аналитика.

Конечные приложения. Конечные приложения реализуют одну или несколько задач на платформе хранилищ данных. Они требуют лишь установки и кастомизации. Как правило, при внедрении не изменяется информационная модель, заложенная в приложение, не требуется (или почти не требуется) программирование. Приложения строятся на основе анализа предметной области и опыта решения данной задачи на вертикальном рынке, например:

- ВРМ-платформа «Контур». Бюджет хозяйственных расходов. (Intersoft Lab). Приложение для комплексной автоматизации бюджетирования административно-хозяйственных расходов банка. Реализует технологию коллективного планирования сметы и оперативного контроля расходования бюджета.

- ВРМ-платформа «Контур». Управленческий учет (Intersoft Lab). Приложение для ведения управленческого учета на основе данных бухгалтерского и операционного учета, что обеспечивает комплексное решение задач финансового управления банком и подготовки управленческой отчетности.

- ВРМ-платформа «Контур». Трансфертное управление ресурсами (Intersoft Lab). Приложение предназначено для автоматизации трансфертноИ управления ресурсами банка.

- ВРМ-платформа «Контур». Функционально-стоимостный soft Lab). Приложение реализует метод функционально-стоимостного анализа Activity Based Costing (ABC) и обеспечивает точную калькуляцию и анализ себестоимости банковских продуктов, проектов (целевых программ), каналов сбыта, бизнес-процессов.