Рисунок 87. Гибридная архитектура метаданных

2. ПРОВОДИМЫЕ РАБОТЫ

2.1 Определение стратегии работы с метаданными

Стратегия работы с метаданными описывает намерения организации по управлению метеданны ми и этапы перехода из текущего состояния к оптимальной в ее представлении практике в обо зримом будущем. Стратегия должна служить для команд разработчиков рамочной структурой совершенствования управления метаданными. При этом выработка требований к самим мета данным помогает прояснить и основные факторы влияния на выбор стратегии, и потенциальные препятствия на пути ее претворения в жизнь.

Стратегия должна включать определение корпоративной архитектуры метаданных, а также фазы ее внедрения, требуемые для решения стратегических задач. Комплекс мероприятий в об ласти стратегического планирования включает следующие шаги.

Инициирование деятельности по стратегическому планированию в области метаданных

На этом шаге команде по выработке стратегии работы с метаданными необходимо определить ся с ближайшими и долгосрочными целями. В рамках стратегического планирования следует разработать проект общих положений, очерчивающих круг работ и задач, решаемых в обла сти метаданных в контексте общеорганизационных усилий по руководству данными, а также подготовить план коммуникаций с целью обеспечения поддержки проводимых мероприятий. К планированию должны быть привлечены все ключевые заинтересованные стороны.

Обсуждение с ключевыми заинтересованными сторонами из числа руководителей бизнес-

иИТподразделений позволяет заложить надежный фундамент из всесторонних знаний для обоснования стратегии управления метаданными.

Оценка существующих источников метаданных и информационной архитектуры позво ляет определить степень сложности и возможные пути решения проблем путем обсуждения с ключевыми специалистами блока ИТ и изучения документации с описанием архитектуры систем, моделей данных и т. д.

Разработка будущей архитектуры метаданных. На этой стадии определяется общая кон цепция и разрабатывается целевая архитектура среды управления метаданными. При этом должны в полной мере учитываться все стратегические аспекты, такие как организационная структура, согласование архитектуры метаданных с основными направлениями деятельности в области руководства и распоряжения данными, механизмы управления архитектурой метаданных и средствами доставки метаданных, техническая архитектура и архитектура си стем безопасности.

Разработка плана поэтапного внедрения включает проверку и подтверждение, интеграцию

иприоритизацию результатов обсуждений и анализа данных, после чего документируется окончательный вариант стратегии работы с метаданными и определяется подход к поэтапно му внедрению изменений, необходимых для перехода от имеющейся к будущей среде управ ления метаданными.

Со временем стратегия будет развиваться, корректироваться и уточняться, равно как и требова ния к метаданным, их архитектура, а также понимание жизненного цикла метаданных.

2.2 Выработка понимания требований к метаданным

Определение требований к метаданным начинается с содержательной части. Необходимо вы яснить, что именно должны описывать метаданные на каждом уровне архитектурного проекта. В частности, нужно определиться с именами таблиц и столбцов в логической и физической моде лях данных. Контент метаданных может варьироваться в весьма широких пределах в зависимо сти от нужд бизнеса и потребителей технических данных (см. раздел 1.3.2).

Комплексное решение по управлению метаданными обязательно должно удовлетворять ряду функциональных требований, в частности тем, которые затрагивают следующие катего рии вопросов.

Изменения. Как часто будут пересматриваться и обновляться наборы и атрибуты метаданных?

Синхронизация. Как спланировать график обновлений метаданных в привязке к изменени ям в источниках?

История. Сохранять ли в архивах предыдущие версии метаданных и на какой срок?

Доступ. Кто будет иметь право доступа к метаданным? Как будет осуществляться доступ? Какие именно функции должен поддерживать пользовательский интерфейс?

2.3 Определение архитектуры метаданных

Система управления метаданными для начала должна уметь извлекать сами метаданные из различных источников. Следовательно, архитектура системы обязана обеспечивать возможность регулярного сканирования разнообразных источников метаданных на предмет появления новых

иизменения имеющихся элементов метаданных и обновления соответствующих записей в цен тральном хранилище. Кроме того, система должна поддерживать ввод и редактирование мета данных в ручном режиме, обработку поисковых и справочных запросов по метаданным, посту пающих от различных групп пользователей.

Среда управляемых метаданных призвана надежно изолировать от конечного пользова теля множественные источники разрозненных метаданных. Следовательно, ее архитектура должна предусматривать единственную точку доступа пользователей к централизованному хранилищу метаданных. Через эту точку доступа (портал) пользователю открывается связная

ипрозрачная картина метаданных из всех источников. Пользователи должны иметь доступ к метаданным, оставаясь в неведении об их происхождении из разнородных сред-источников. В аналитических приложениях, включая ориентированные на обработку больших данных, могут предусматриваться определяемые пользователем функции (UDF1) обращения к данным из различных наборов, основанные на использовании метаданных. Чем меньше в решении воз можностей для применения UDF, тем чаще и глубже будут конечные пользователи докапывать ся до первоисточников, собирать, просматривать и анализировать напрямую исходные наборы данных и служебные определения метаданных в рабочих системах, что, как правило, чревато всяческими рисками утечек чувствительных данных и прочими угрозами информационной безопасности.

Выбор архитектуры зависит от специфики потребностей организации. С технической точки зрения выделяют три основных подхода к построению репозитория метаданных, которые в це лом повторяют архитектурные подходы к построению хранилищ данных, — централизованный, распределенный и гибридный (см. раздел 1.3.6). Выбор подхода производится с учетом техниче ских возможностей в плане реализации хранилища и механизмов обновления метаданных.

1 сокр. от англ. user-defined function(s). — Примеч. пер.

Создание модели данных для репозитория метаданных (или метамодели — metamodel) — один из первых практических шагов по проектированию, следующий после завершения разработки стра тегии работы с метаданными и уяснения бизнес-требований. Метамодель может создаваться по мере необходимости на различных уровнях обобщения/конкретизации — от высокоуровневой концептуальной модели, объясняющей отношения и связи на уровне систем, до глубоко детализированной метамодели, исчерпывающим образом прописывающей все атрибуты, элементы и процессы. Являясь прежде всего инструментом планирования и формулировки требований, метамодель еще и сама по себе служит ценным источником метаданных.

В представленном примере (рис. 88) модели репозитория метаданных (метамодели) прямо угольники представляют основные высокоуровневые сущности, содержащие данные.

2.3.2 Применение стандартов метаданных

Решение по управлению метаданными должно соответствовать внутренним и внешним стандар там, а перечень применимых и обязательных для соблюдения требований составляться, согласо вываться и утверждаться еще на стадии стратегического планирования. Мониторинг же их со блюдения — одна из важных функций руководства данными. Внутренние стандарты метаданных организации определяют допустимые наименования, форматы и свойства, требования защиты, прозрачности и документирования обработки данных, и т. п. Внешние стандарты метаданных, применимые к организации, включают форматы и протоколы обмена данными, требования к API и прочие технические регламенты.

Технические метаданные

Рисунок 88. Пример метамодели (модели репозитория метаданных)

Следует проработать и реализовать комплекс механизмов управления средой метаданных. К области управления хранилищами относится весь спектр операций по перемещению и об новлению метаданных во всех системах-источниках и центральном хранилище под контролем специалистов по метаданным. В основном это административные по своей сути функции — мониторинг, обработка отчетов, реагирование на предупреждения, контроль рабочих журна лов, разрешение проблем, выявленных в среде хранения метаданных, и т. п. Многие работы в рамках этих контрольных функций являются стандартными для эксплуатации и обслужива ния баз данных и интерфейсов в любых информационных средах. Контрольные мероприятия должны осуществляться под общим руководством администратора или органа, отвечающего за распоряжение данными. Ниже обобщены основные направления оперативного управления хранилищами метаданных.

Контрольные мероприятия и текущие задачи управления, включая:

планирование и контроль соблюдения графика регламентных работ;

анализ статистики нагрузки, трафика и т. п.;

резервное копирование и восстановление, архивирование и полное удаление;

текущие изменения конфигурационных настроек;

отладку и настройку с целью оптимизации и повышения производительности;

анализ статистики запросов;

запросы и генерирование отчетов;

управление средствами обеспечения ИБ.

Оперативные мероприятия по управлению качеством, включая:

обеспечение/контроль качества;

дифференцированную настройку частоты обновления различных наборов данных;

выявление и учет недостающих метаданных;

выявление и учет устаревших метаданных.

Работы по управлению метаданными, включая:

загрузку, сканирование, импорт и маркировку массивов данных;

картирование источников и конфигурирование каналов передачи данных;

управление версиями;

управление пользовательским интерфейсом;

ведение метаданных связующих наборов данных (при схемах NoSQL);

привязку внутренних данных к источникам (ссылки и метаданные задач);

управление лицензиями на доступ к внешним данным или подписками на них;

получение метаданных, необходимых для обогащения данных (например, подключение к GIS).