Читаем Ценность ваших данных полностью

● противоречивые определения объектов и элементов данных;

● неверные и противоречивые оценки рисков, соответствующих различным категориям данных, в том числе проистекающих от их нецелевого использования или утечки;

● конфликтующие между собой источники и версии метаданных и, как следствие, подрыв доверия пользователей к любым определениям данных, используемых в организации.

Хорошо организованное управление метаданными обеспечивает полное и согласованное представление об информационных ресурсах организации и способствует эффективному налаживанию взаимодействия между организациями при проведении совместной разработки приложений[505],[506].

15.2.3. Виды метаданных

Метаданные можно разделить на три основные категории:

● бизнес-метаданные;

● технические метаданные;

● операционные метаданные.

Бизнес-метаданные описывают содержание и состояние данных, а также детали, необходимые для реализации функций распоряжения данными.

Примеры бизнес-метаданных:

● определения и описания наборов, таблиц и столбцов данных;

● бизнес-правила, правила преобразований, расчетные и логические формулы;

● модели данных;

● правила и результаты измерения показателей качества данных;

● расписания обновления данных;

● первоисточники и происхождение данных;

● стандарты данных;

● условные обозначения, используемые в системе записи и учета элементов данных;

● ограничения по допустимым значениям;

● контактная информация ответственных (например, владельцев или распорядителей данных);

● классы секретности и конфиденциальности данных;

● известные проблемы с данными;

● примечания по использованию данных.

Технические метаданные детально описывают всевозможные технические характеристики данных, систем их хранения и процессов перемещения данных между системами. Например:

● названия таблицы и столбцов таблицы, используемые в физической модели данных;

● свойства столбца;

● свойства объекта БД;

● права доступа;

● правила создания, замены, обновления и удаления записей (create, replace, update and delete; CRUD);

● физические модели данных, включая имена таблиц данных, ключи и индексы;

● задокументированные связи между моделями данных и физическими ресурсами;

● детализация операций по извлечению, передаче или загрузке данных (ETL);

● определения схем данных в файловых форматах;

● карты соотнесения данных между системами-источниками и адресатами;

● документация, описывающая происхождение данных, включая влияние изменений на информацию выше и ниже по потоку обработки;

● названия и описания используемых программ и приложений;

● расписания заданий по загрузке или обновлению контента и зависимостей между ними;

● правила резервного копирования и восстановления данных из резервных копий;

● права доступа, группы и роли пользователей.

Операционные метаданные детально описывают процессы обработки данных и управления доступом к ним. Например:

● журналы выполнения заданий пакетной обработки данных;

● история и результаты выгрузки выборок данных;

● сбои в расписаниях;

● результаты аудита, балансировки и контрольных измерений;

● журналы ошибок;

● структура, частота и время, скорость обработки запросов данных и отчетов;

● планы-графики исправлений, обновлений и выпуска новых версий и степень их соблюдения;

● правила резервного копирования, периодичности и сроков хранения резервных копий, порядок активации плана аварийного восстановления;

● требования и условия соглашений об уровнях обслуживания;

● схемы регистрации и распределения потоковой нагрузки;

● правила архивирования данных, сроки хранения архивов, правила обеспечения связности архивных данных;

● критерии окончательного удаления (утилизации) архивных данных;

● правила совместного доступа к данным;

● технические роли и обязанности, контактные данные.

Отметим, что на практике в процессе использования метаданных грани между описанными видами оказываются довольно размытыми и не столь существенными[507],[508].

15.2.4. Архитектура метаданных

Как и другие данные, метаданные имеют свой жизненный цикл. Поэтому все решения по управлению метаданными включают следующие архитектурные уровни, соответствующие различным фазам жизненного цикла метаданных:

● создание или получение метаданных;

● хранение метаданных в одном или нескольких репозиториях;

● интеграция метаданных;

● доставка метаданных потребителям;

● использование метаданных;

● контроль и управление метаданными.

Для подключения к источникам, а также для сбора, хранения, интеграции и сопровождения метаданных и управления доступом к ним могут использоваться различные архитектурные подходы[509],[510].