функционирования организации. По сути, метаданные являются путеводителем по всем дан ным, имеющимся в распоряжении организации. Следовательно, управление метаданными должно быть безупречным. Плохо управляемые метаданные приводят к следующим негатив ным последствиям:

появление избыточных данных и бессмысленных процессов управления ими;

дублирующие друг друга избыточные, устаревшие или вовсе не используемые словари, репо зитории и иные хранилища метаданных;

противоречивые определения объектов и элементов данных;

неверные и противоречивые оценки рисков, соответствующих различным категориям дан ных, в том числе проистекающих от их нецелевого использования или утечки;

конфликтующие между собой источники и версии метаданных и, как следствие, подрыв дове рия пользователей к любым определениям данных, используемых в организации.

Хорошо организованное управление метаданными обеспечивает полное и согласованное представ ление об информационных ресурсах организации и способствует эффективному налаживанию взаимодействия между организациями при проведении совместной разработки приложений.

1.2 Цели и принципы

Основные цели управления метаданными:

управление задокументированными на уровне организации знаниями о данных в привязке к бизнес-терминологии с целью обеспечения единообразной трактовки данных всеми, кто их использует;

сбор и интеграция метаданных из различных источников с целью обеспечения понимания пользователями сходств и различий между данными, поступающими из различных частей организации;

обеспечение качества, согласованности, актуальности и защищенности метаданных;

предоставление стандартных каналов доступа к метаданным всем потребителям данных (пользователям, системам, приложениям и процессам);

выработка и утверждение собственных или контроль соблюдения предписываемых стандар тов технических метаданных с целью обеспечения возможности обмена данными.

Руководящие принципы успешного внедрения решения по управлению метаданными таковы:

Приверженность со стороны организации. Высшее руководство организации должно пони мать необходимость адекватного управления метаданными для эффективного распоряжения корпоративными информационными активами, рассматривать его как часть стратегии рабо ты с данными и выделять достаточные объемы финансирования.

Стратегия работы с метаданными должна описывать общеорганизационный план создания, сопровождения, интеграции и использования метаданных. На основе стратегии вырабатыва ются требования, которые будут предъявляться к создаваемым ИТ-решениям или приобре таемым программным продуктам по управлению метаданными. Стратегия работы с метадан ными должна соответствовать бизнес-приоритетам.

Корпоративная перспектива. Осуществление управления метаданными в масштабах орга низации позволяет гарантировать возможность расширений и дополнений в будущем, но внедряться оно в любом случае должно поэтапно, чтобы обеспечить получение ощутимой финансовой отдачи за счет оптимизации после первых циклов внедрения.

Социализация. Проводите разъяснительную работу, доказывайте и обосновывайте необ ходимость и назначение метаданных каждого типа; донесение до всеобщего понимания цен ности метаданных послужит стимулом к их использованию бизнес-подразделениями и, что не менее важно, позволит привлечь к работе экспертов в различных предметных областях.

Доступность. Не забывайте удостоверяться в том, что все сотрудники знают порядок доступа к метаданным и умеют их использовать.

Качество. Важно понимать, что метаданные часто возникают в качестве побочного продук та различных процессов (моделирования данных, проектирования систем, определения биз нес-процессов и т. п.); необходимо сделать так, чтобы лица, отвечающие за эти процессы, несли персональную ответственность и за качество метаданных, порождаемых этими процессами.

Аудит. Установите стандарты метаданных и строго контролируйте их соблюдение.

Совершенствование. Создайте механизмы обратной связи и обрабатывайте поступающие от потребителей сигналы об ошибочных или устаревших метаданных.

1.3 Основные понятия и концепции

1.3.1 Метаданные как особая категория данных

Как уже было заявлено во введении к настоящей главе, метаданные — это разновидность дан ных, и, подобно любым другим данным, метаданные нуждаются в управлении. Некоторые орга низации сталкиваются с затруднениями как раз в вопросах проведения четкой границы между метаданными и всеми прочими данными. Теоретически эта граница соответствует переходу от абстракции к конкретике. Например, в докладе, предавшем огласке факты массового прослуши вания телефонов граждан США Агентством национальной безопасности, данные о номерах те лефонов и времени звонков как ни в чем не бывало называются «метаданными», и это как бы подразумевает, что к «настоящим» данным относится лишь содержание телефонных разгово ров. Однако здравый смысл подсказывает, что номера телефонов граждан, хронология звонков и продолжительность соединений также должны классифицироваться как просто данные, без приставки «мета-»1

1 Cole, David. «We kill people based on metadata». New York Review of Books. 10 May 2014, http://bit.ly/2sV1ulS

Возможно, «золотое правило» состоит в том, чтобы выделять пограничный слой данных, которые могут являться метаданными или информативными данными в различных контек стах, в частности в зависимости от степени осведомленности лица, получающего к ним доступ. Нечто, внешне выглядящее точь-в-точь как метаданные (например, список имен полей или на званий столбцов), на поверку может оказаться фактическими данными, — если, например, этот список названий используется для сравнительного анализа терминов, используемых различ ными организациями, с целью разобраться с фактическим содержанием данных, имеющихся у каждой из них.

Впрочем, для управления собственными метаданными организации ни к чему вдаваться в тонкости. Лучше сосредоточить усилия на своевременном определении дополнительно требую щихся метаданных для грядущих нужд в зависимости от того, для чего эти новые метаданные будут использоваться (для создания новых данных, углубленного анализа имеющихся, кроссплат форменной интеграции, управления доступом, публикации/распространения данных и т. п.), и источников данных, удовлетворяющих этим требованиям.

1.3.2 Виды метаданных

Обычно метаданные подразделяют на три основные категории:

бизнес-метаданные;

технические метаданные;

операционные метаданные.

Так людям понятнее, насколько широкий спектр информации и явлений оказывается «под одним зонтом» метаданных, и проще разбираться с функциями определения метаданных. К слову, эта же троичная классификация способна привнести в умы и немало путаницы, особенно если люди залипают на вопросах типа «К какой именно категории относится этот набор метаданных?» или «Кто отвечает за ведение этого набора метаданных и кто имеет право вносить в него изменения?». Лучше решать подобные вопросы, исходя из места происхождения метаданных, а не места или порядка их использования. Кстати, в процессе использования метаданных грани между тремя описанными типами оказываются весьма размытыми и не столь уж и значимыми. Техническому персоналу приходится иметь дело и с «бизнес-метаданными», и с «операционными метаданны ми»; то же самое касается и двух других категорий пользователей.

Впрочем, за пределами информационных технологий могут использоваться другие классы ме таданных. Например, в библиотечном деле стандартными категориями метаданных считаются:

описательные метаданные (автор, заглавие, предмет и т. д.), которые помогают идентифици ровать ресурсы и извлекать их из хранилищ;

структурные метаданные, которые описывают связи между ресурсами и внутреннюю компо новку и строение ресурсов (число томов, частей, глав, страниц и т. п.).

Главное назначение всех подобных категорий — обеспечивать полезной дополнительной инфор мацией тех, кто отвечает за определение и проработку требований к метаданным.

1.3.2.1 БИЗНЕС-МЕТАДАННЫЕ

Бизнес-метаданные описывают, по большому счету, содержание и состояние данных, а также детали, необходимые для реализации функций распоряжения данными. К бизнес-метаданным относятся нетехнические наименования и определения понятий, названия и атрибуты предмет ных областей; типы данных и иные свойства атрибутов; описания диапазонов данных; расчетные формулы; алгоритмы и бизнес-правила; области допустимых значений данных и их определения. Примерами бизнес-метаданных могут служить:

определения и описания наборов, таблиц и столбцов данных;

бизнес-правила, правила преобразований, расчетные и логические формулы;

модели данных;

правила и результаты измерения показателей качества данных;

расписания обновления данных;

первоисточники и происхождение данных;

стандарты данных;

условные обозначения, используемые в системе записи и учета элементов данных;

ограничения по допустимым значениям;

контактная информация ответственных (например, владельцев или распорядителей данных);

классы секретности/конфиденциальности данных;

известные проблемы с данными;

примечания по использованию данных.

1.3.2.2 ТЕХНИЧЕСКИЕ МЕТАДАННЫЕ

Технические метаданные детально описывают всевозможные технические характеристики дан ных, систем их хранения и процессов перемещения данных между системами. Примеры:

названия таблицы и столбцов таблицы, используемые в физической модели данных;

свойства столбца;

свойства объекта БД;

права доступа;

правила создания, замены, обновления и удаления записей (create, replace, update and delete; CRUD);

физические модели данных, включая имена таблиц данных, ключи и индексы;

1.3.2.3 ОПЕРАЦИОННЫЕ МЕТАДАННЫЕ

Операционные метаданные детально описывают процессы обработки данных и управления до ступом к ним. Примеры:

журналы выполнения заданий пакетной обработки данных;

история и результаты выгрузки выборок данных;

сбои в расписаниях;

результаты аудита, балансировки и контрольных измерений;

журналы ошибок;

структура, частота и время/скорость обработки запросов данных и отчетов;

планы-графики исправлений, обновлений и выпуска новых версий и степень их соблюдения;

правила резервного копирования, периодичности и сроков хранения резервных копий, поря док активации плана аварийного восстановления и т. п.;

требования и условия соглашений об уровнях обслуживания;

схемы регистрации и распределения потоковой нагрузки;

правила архивирования данных, сроки хранения архивов, правила обеспечения связности архивных данных;

критерии окончательного удаления (утилизации) архивных данных;

правила совместного доступа к данным;

технические роли и обязанности, контактные данные.

1.3.3 Стандарт ISO/IEC 11179

Стандарт ISO/IEC 11179 предоставляет рамочную структуру для организации регистра мета данных (Metadata Registry, MDR). Он разработан для того, чтобы обеспечить обмен данными, управляемый на основе метаданных (metadata-driven) и базирующийся на точных определениях данных, начиная с их отдельных элементов. Стандарт состоит из следующих частей1:

1 Данные приведены по состоянию на 05.06.19 (стандарты находятся в состоянии динамической доработки). Для справки добавлены ссылки на соответствующие национальные стандарты РФ. — Примеч. пер.

1.3.4 Метаданные, используемые для описания неструктурированных данных

По своей природе все данные имеют какую-то структуру, хотя не все из них могут быть отструк турированы в виде привычных строк и столбцов реляционных баз данных. Любые данные, пред ставленные не в виде баз данных или упорядоченных файлов данных, а в другой форме, вклю чая зафиксированные на различных носителях документы, рисунки, фото, аудио- и видеозаписи и т. д., относятся к неструктурированным (см. главы 9 и 14).

Метаданные для управления неструктурированными данными, вероятно, необходимы даже в большей мере, чем для управления структурированными данными. Возвращаясь к умозритель ной аналогии с библиотечным делом из вводной части главы: книги и периодика — хороший при мер неструктурированных данных. Главное назначение метаданных в этом случае — упорядоче ние картотеки-каталога этих изданий, чтобы каждый владелец читательского билета мог найти искомые материалы вне зависимости от их формата.

Метаданные, используемые для учета и систематизации неструктурированных данных, включают:

описательные метаданные (рубрики каталога, ключевые слова и т. п.);

структурные метаданные (теги, поля, форматы и т. п.);

административные метаданные (источники, расписания обновлений, права доступа, навига ционная информация и т. п.);

библиографические метаданные (записи в каталоге библиотеки и т. п.);

учетные метаданные (сроки и правила хранения и т. п.);

метаданные о порядке долговременного хранения (архив, условиях хранения, правила архи вирования и т. п.; подробнее см. в главе 9).

Большинство вышеперечисленных утверждений о метаданных для неструктурированных дан ных относятся к области традиционного управления контентом. Что касается всплеска инте реса к управлению неструктурированными большими данными, накапливаемыми в так назы ваемых озерах данных на платформах типа Hadoop, то тут, как выясняется, не обойтись без автоматизированной каталогизации обрабатываемых данных с целью обеспечения возможно сти последующего доступа к ним. В большинстве подобных платформенных решений преду смотрены процедуры сбора метаданных в процессе приема данных. Каждому объекту при его размещении в озере присваивается минимальный набор атрибутов метаданных (имя, формат, источник, версия, дата поступления и т. п.). По этим данным и выстраивается каталог содер жимого озера данных.

1.3.5 Источники метаданных

Одного взгляда на список типов метаданных достаточно, чтобы понять, что они собираются из множества различных источников. Кроме того, если управление метаданными отлажено и ве дется на уровне всех приложений по отдельности, собрать эти метаданные воедино, согласовать и интегрировать не составит труда. Увы, во многих организациях управлением метаданными не занимаются и на уровне отдельных приложений, тогда как приложения имеют свойство генери ровать метаданные автоматически в качестве побочного, но никак не конечного продукта (то есть метаданные с указанием автора, названия, даты и т. п. создаются и сохраняются, но никак не заточены под нужды потребителя). В результате, как и в случае с данными других категорий, интеграция метаданных требует больших объемов подготовительной работы.

Операционные метаданные так или иначе генерируются по мере обработки данных. Тут клю чевая задача состоит в том, чтобы наладить их сбор в удобной для использования форме, назна чить ответственных за их интерпретацию, формализацию и сопровождение — и обеспечить их всеми необходимыми для этого инструментами. Стоит отметить, что для интерпретации данных из таких источников, как, например, журналы регистрации ошибок, требуются метаданные, опи сывающие записи в журналах. Значительную часть технических метаданных также можно соби рать из системных источников — например, объектов баз данных.

Немало бизнес-метаданных можно получить методом декомпиляции существующих систем, а также из сопроводительных глоссариев, моделей и документации процессов (Loshin, 2001; Aiken, 1995). Однако такой подход следует признать весьма рискованным, прежде всего из-за не возможности точно выяснить степень тщательности и добросовестности исходных определений. Если разработчики действующих систем в свое время что-то не учли или недоработали, то и по лученные на основе их определений метаданные окажутся неточными или неоднозначными, то есть не будут выполнять своей функции, заключающейся в разъяснении потребителям точного смысла используемых ими данных.

Так что лучше целенаправленно выработать определения с нуля самостоятельно, чем полагаться на существующие. Для формулировки определений требуется немало времени