Предыстория

Что касается систем управления метаданными, в отрасли появляются различные решения с открытым исходным кодом. В этой статье будут перечислены и сравнены несколько популярных в отрасли компонентов управления метаданными:

• Apache Atlas：на основеHadoopструктура управления метаданными,В основном в виде вычислительной машины Хука,чтобы получить информацию о метаданных,И обеспечить базовое управление приложениями метаданных;
• LinkedIn DataHub：LinkedIn Предшественник Warehows, обеспечивающий функции поиска и интеграции метаданных;
• Lyft Amundsen：Одна из наиболее популярных систем управления метаданными.,Платформа обнаружения данных с открытым исходным кодом от lyft;
• Netflix Metacat：Netflixоткрытый исходный кодMetacatпроект,Единый операционный API,используется для Отдельные механизмы вычислений из конкретных источников данных；
• Прочее: Организовать системные решения метаданных, выпущенные крупными производителями.

система с открытым исходным кодом

Apache Atlas

Архитектура системы

Apache AtlasдляЭкосистема больших данных Hadoop предоставляет базовые функции управления метаданными.,Ключевые особенности включают в себя：Классификация данных：Теги бизнес-метаданных、определение、Аннотации; поиск и происхождение метаданных; централизованный операционный аудит безопасности и политики; Структура модуля системы следующая:

• core：Включать(1). Определение метаданных системы типов(метамодель) Type System、(2). Доступ к метаданным/вывод данных на основе промежуточного программного обеспечения сообщений Ingest/Export、(3). графический движок Graph Двигатель три модуля;
• integration：Atlasподсистема интеграции метаданных,Поддерживает ОТДЫХ API(сосредоточиться на Бизнес-метаданные)и Система сообщений(сосредоточиться на Технические метаданные) Два способа импорта метаданных в Атлас;
• metadata sources：AtlasПлагин источника данных,В настоящее время поддерживает сбор метаданных и информации об их изменениях из распространенных сервисов больших данных.,И своевременное уведомление промежуточного программного обеспечения сообщений; поддерживает HBase, Hive, Sqoop, Strom, Kafka и т. д.
• Apps：построен наAtlasВнешнее приложение метаданных, основанное на управлении метаданными,В основном включает в себя пользовательский интерфейс администратора Atlas и политики на основе тегов.

Структура проекта

Прыжок

система типов

Atlas поддерживает несколько типов доступа к метаданным.,Имеет хорошую масштабируемость,Поддерживаемые в настоящее время источники данных：HBase、Hive、Sqoop、Storm、Kafka。существоватьAtlasсерединаопределение Понятносистема типов(Type System),для управления метамоделью,И каждая сущность представляет собой запись метаданных, соответствующую да,DataдаMaster информация о данных в рамках конкретных метаданных,связь Как показано ниже：

Atlasподдерживатьна основеjsonдокументопределениетип,Путь к исходному коду встроенного определения модели: atlas/addons/models.,jsonопределениетиппереписыватьсяAtlasTypesDef(AtlasОни будут зарегистрированы при запускеметамодельтип),Типы АтласаDefопределениеосновная метамодельAtlasEntityDefнаследоватьсвязьследующее：

• Referenceable: определяет базовый элемент метаданныхqualName, уникальный идентификатор метаданных;
• Asset：Базовая информация об активах данных, определяющая метаданные.,включить имя,описание и т.п.;
• DataSet：определение Базовый набор данных для метаданных,Классы расширения его реализации включают: hive_table,kafka_topic и т. д.;
• Process：определение Информация о процессе метаданных,Например, hive_process (кровное родство таблицы ульев)

кИмя типа в AtlasEntityDef — hive_tables.дляобразцовыйтипопределениеследующее：

Name:         hive_table
TypeCategory: Entity
SuperTypes:   DataSet
Attributes:
    name:             string
    db:               hive_db
    owner:            string
    createTime:       date
    lastAccessTime:   date
    comment:          string
    retention:        int
    sd:               hive_storagedesc
    partitionKeys:    array<hive_column>
    aliases:          array<string>
    columns:          array<hive_column>
    parameters:       map<string>
    viewOriginalText: string
    viewExpandedText: string
    tableType:        string
    temporary:        boolean

AtlasBaseTypeDef Абстрактный класс базовой метамодели Typeопределениесвойство,используется для Собратьметамодельопределение(Прямо сейчасAtlasTypesDef)。

AtlasType даAtlasтипопределениеизабстрактный класс,наиболее часто используемыйдаAtlasEntityType определениесущность(Entity)метамодельтип。

И конкретныйОбъекты определения метамодели сущности определяются классом AtlasEntity.,Наследовать общий класс определения структурированных данных Atlas AtlasStruct.,в

• typeName: определяет тип метаданных, например, процесс обработки Hive SQL (родословная) — hive_process;
• атрибуты: атрибутивная информация метаданных;

Уведомление о сообщении

Atlas отправляет сообщения на основе промежуточного программного обеспечения сообщений (Kafka) для реализации уведомлений об изменении метаданных (новое/обновление/удаление).,Отправленное сообщениеопределениедляATLAS_ENTITIES,сосредоточиться на Системы, меняющие метаданные, могут прослушивать это сообщение.TopicИзмените функцию реализации сопределение。

Используя Notifications V2 в Atlas V1.0 и более поздних версиях, следующие операции изменения метаданных инициируют отправку сообщений метаданных:

ENTITY_CREATE:         sent when an entity instance is created
ENTITY_UPDATE:         sent when an entity instance is updated
ENTITY_DELETE:         sent when an entity instance is deleted
CLASSIFICATION_ADD:    sent when classifications are added to an entity instance
CLASSIFICATION_UPDATE: sent when classifications of an entity instance are updated
CLASSIFICATION_DELETE: sent when classifications are removed from an entity instance

Формат сообщения следующий: включая объект метаданных, тип операции, операцию классификации метаданных;

AtlasEntity  entity;
OperationType operationType;
List<AtlasClassification>  classifications;

Операции с метаданнымитипOperationTypeвключать：ENTITY_CREATE, ENTITY_UPDATE, ENTITY_DELETE,CLASSIFICATION_ADD, CLASSIFICATION_DELETE, CLASSIFICATION_UPDATE, RELATIONSHIP_CREATE, RELATIONSHIP_UPDATE, RELATIONSHIP_DELETE。

NotificationHookConsumerопределение Понятно元данные变更из消息Потребление,Запустите поток Thread, чтобы использовать сообщения Kafka и обрабатывать сохранение сообщений одно за другим.,Общий процесс добавления метаданных выглядит следующим образом:

• NotificationHookConsumer запускает несколько потоков в фоновом режиме для создания KafkaConsumer для разных тем для потребления (AtlasKafkaConsumer#doWork);
• AtlasKafkaConsumer По данным новостейтипOperationTypeВыполнение указанных операций с метаданными,Возьмем ENTITY_CREATE в качестве примера.,Хранилище метаданных AtlasEntityStore будет вызываться для накопления постоянных метаданных.,конецслойкграфовая база данных(JanusGraph)Метаданные оперативного хранилища(Постоянные объекты вершин метаданных)。

кровное родство реализовано

NotificationInterface Уведомление о сообщенииинтерфейс：определениеAtlasсередина Согласно уведомлениютип(NotificationType)Создание общего сообщенияи Потребление,NotificationTypeвключать：HookиENTITIES,Десериализация типа выполнения (MessageDeserializer) может выполняться на основе данных JSON.,финальныйJSONопределениеиз消息反序列化дляHookNotificationиEntityNotificationобъект。

на основеLineageRESTкласс обеспечиваетсущностьобъект Родословнаясвязь ЗапросREST APIинтерфейс,на основеинтерфейсAtlasLineageService#getAtlasLineageInfo Реализация операций просмотра метаданных,

Возьмем, к примеру, производство родословной Улья.,информация о родословнойAtlasEntityDefгороднаследоватьProcess(Пожалуйста, обратитесь к вышеизложенному),на основеCreateHiveProcess#getNotificationMessagesинкапсуляцияHive产生из Родословная信息并финальныйотправить в сообщениесерединапромежуточное программное обеспечение,на основеHiveроднойHookContextсередина获取Родословная信息,Тип Hive SQL, поддерживающий разрешение происхождения：

• CREATETABLE_AS_SELECT: создать таблицу Hive на основе Select;
• CREATE_MATERIALIZED_VIEW: создание материализованного представления.
• CREATEVIEW: Создать представление;
• ALTERVIEW_AS: изменить таблицу просмотра;
• ЗАГРУЗКА/ЭКСПОРТ/ИМПОРТ: загрузка данных, импорт, экспорт;
• ЗАПРОС: сложный оператор запроса;

Хранение графических данных

Связанные данные в Atlas хранятся в виде графиков.,в настоящий моментдаJanusgraphвыполнить。Atlasиз所иметьданныефинальныйгород转换成图хранилищесерединаизЕсть три элемента: вершина, ребро и свойство.。

LinkedIn DataHub

Архитектура системы

Linkedin DataHubдаоткрытый исходный код元данные管理平台,раньшеLinkedin Проект WhereHows реконструирован и трансформирован. Проект в основном разделен на три основных модуля:

• Ingestion：Сбор метаданные/интеграция: контролирует, как метаданные поступают в систему DataHub;
• Serving：поставлять Обработка метаданныхиметь дело с,Услуги чтения и записи метаданных (постоянство/чтение метаданных);
• Frontend：поставлять与用户交互из界面,Поддерживает поиск метаданных, карту данных и другие функции;

Прыжок

вModeling：Определить универсальную метамодель：сущность、связь、свойство。

Прыжок

Ingestion

Интеграция метаданных(Ingestion)да Гибкая архитектура сервиса,поддерживать：PUSH、PULL、асинхронный/Синхронизировать модель данных（Нижний слой реализован на базе Python）：

• MCE(Metadata Change Event)：Событие изменения метаданныхдаIngestionсерединаосновной модуль,Определено, что изменения метаданных существуют в вышестоящей системе.,Обычно MCE передается промежуточному программному обеспечению в фиксированном формате сообщения;
• Интеграция PULL: Python используется внутри компании для реализации сбора метаданных из каждого источника данных. Собранные данные поддерживают прямую отправку на промежуточное программное обеспечение сообщений (например, Kafka) или вызывают интерфейс HTTP для непосредственного сохранения в хранилище метаданных;
• Интеграция PUSH: поддерживает внешние бизнес-системы, отправляет бизнес-метаданные в промежуточное программное обеспечение сообщений в указанных форматах сообщений и создает события изменения метаданных MCE;

Прыжок

в,MCEсерединаизИсточник изменения метаданныхКатегории в основном включают в себя：hook(двигательHook),lineage (происхождение SQL), операторы (процесс DAG задач, реализованный на основе фреймворка airflow);

Serving

DataHub Serving,также известный какдляУровень обслуживания (подсервис),В основном обеспечивает сохранение метаданных и возможности извлечения запросов.,То есть он предоставляет возможности управления метаданными. Ядро предоставляет услуги gms и предоставляет внешний интерфейс операций CRUD с метаданными.

• GMS(DataHub Metadata Service)：кJavaпоставлять元данные管理интерфейс Служить
  • GraphQL API: изменение и получение информации метаданных и информации, связанной с графиками;
  • Http API: предоставляет общий интерфейс REST метаданных для управления метаданными;
• MAE(Metadata Audit Event)：существоватьServingсистемасередина元данные变更操作会产生MAE(События аудита метаданных)并отправить в сообщениесерединапромежуточное программное обеспечение(Kafka)；особенный,Внешние системы могут генерировать интерфейс MAE, вызывая,Это позволяет синхронизировать операции изменения метаданных внешних систем с системой DataHub практически в реальном времени.
• MAE-Consumer: потребляет события MAE в промежуточном программном обеспечении и синхронизирует изменения метаданных с базой данных индексов и базой данных графов;

Уровень обслуживания: обеспечивает различные уровни поддержки запросов, в том числе: хранение текста KV, извлечение на основе индекса ES и запрос взаимосвязей графовой базы данных.

Прыжок

кровное родство реализовано

Разрешение родословной SQL не реализовано в LinkedIn DataHub,даJob родословная на основе Airflow,Можно ссылатьсяlineage-backend,на основеairflow.lineage#prepare_lineage Разобрать информацию о родословной.

Netflix Metacat

Netflix Metacat да Netflix 研发из统一из元данные探索Служить。проходитьОтдельные механизмы вычислений из конкретных источников данных,Решение проблемы огромной и разнообразной экосистемы данных Netflix,Проблемы совместимости метаданных между различными системами хранения данных。Предоставить единый интерфейс REST/Thrift.для доступа к метаданным из различных хранилищ данных。Объединенные представления в реальном времени благодаря управлению источниками данных с прямым подключением.。

Отдельный механизм вычислений и источник данных

Прыжок

Общий архитектурный проект:

• API Controller：интерфейсслой,иностранныйпоставлятьREST и Бережливый интерфейс
• Уровень обслуживания: Уровень обслуживания,для обработки данных,Обслуживание индексных данных, сохранение метаданных
• Менеджер коннекторов: управляет различными типами соединений коннекторов и соединяет источники данных на основе разных коннекторов.

Lyft Amundsen

Lyft Amundsen Да Lyft Проект обнаружения данных с открытым исходным кодом и механизма метаданных для решения проблемы исследования данных

• Служба метаданных: получает и обрабатывает запросы метаданных от внешнего интерфейса, которые по умолчанию хранятся в графовой базе данных Neo4j, в основном поддерживает три типа ресурсов: метаданные таблицы (имя таблицы/описание/поле/статистическая информация и т. д.), информация о пользователе (пользователь); /группа/команда) /контактная информация), ресурсы Dashborad, поддержка использования Atlas в качестве механизма для получения метаданных;
• Служба поиска: получает и обрабатывает запросы внешнего поиска, по умолчанию используя ES;
• Интерфейсная служба: интерфейсная веб-служба по умолчанию;
• Databuilder: общая платформа интеграции данных, которая поддерживает несколько коллекций метаданных; она основана на Apache Gobblin, записывает операции ETL, является подключаемой на основе HOCON (нотация объекта конфигурации, оптимизированная для человека) и основана на AirFlow в качестве механизма планирования.

Прыжок

Проблемы и трудности в ходе реализации:

• Различные организационные структуры источников данных: необходимо предоставить два метода сбора данных: PULL (на основе сканеров) и PUSH (передача в промежуточное программное обеспечение);
• Удаление и очистка данных с истекшим сроком действия: версия метаданных не предоставляется, а данные с истекшим сроком действия не удаляются;
• Поддержка нескольких типов хранилищ данных;

Другие системы

PayPal UDC

Система каталогов данных, используемая PayPal внутри компании для единообразного управления и организации внутреннего каталога данных компании. В основном он включает в себя три модуля:

• Службы метаданных: предоставление внешних служб приложений для управления метаданными и визуальных интерфейсов.
• Службы обнаружения метаданных: Службы обнаружения метаданных
• Metadata Store：поддерживать Хранение метаданных,включатьсвязьбаза данных、графовая база данных、Поиск ES и промежуточное программное обеспечение сообщений Kafka

Прыжок

AWS Glue

AWS Glue да Полностью управляемый ETL (Извлечение, Transform, Load), который может автоматически обнаруживать данные, хранящиеся на AWS, и сохранять их в AWS. Glue Data Каталог — это центральное хранилище метаданных, которое может служить основой озера данных или хранилища данных. АВС Glue Основная функциональность включает в себя две части:

• каталог данных：серединацентральный Хранение метаданных Библиотека,Предоставляет единый репозиторий,Различные системыМожетксуществоватьвхранилищеи查找元данные来跟踪данные孤岛серединаизданные,И используйте эти метаданные для запроса и преобразования данных.
• Механизм задач ETL：поддерживать Создается автоматически Python или Scala Закодированный ETL Движок поддерживает разрешение зависимостей, мониторинг задач и повторную попытку обработки задач;

Прыжок

AWS Glue каталог данныхпоставлятьупорство Хранение метаданных,Это полностью управляемый сервис,МожетсуществоватьAWS Храните, комментируйте и делитесь метаданными в облаке, как в Apache Hive То же, что и в метасторе.

каталог данных поддерживает многопользовательскую аренду：каждыйAWSСчетсуществоватькаждыйAWSВ этом районе есть AWS Glue каталог данных Он предоставляет единый репозиторий, в котором разрозненные системы могут хранить и находить метаданные для отслеживания данных в хранилищах данных, а также использовать эти метаданные для запроса и преобразования данных.

обнаружение метаданных

Прыжок

AWS Lake Formation

AWS Lake Formation да Услуга хостинга Data Lake, предоставляемая Amazon,Goalda позволяет пользователям легко настроить озеро данных,И обеспечить необходимую безопасность и управление разрешениями.,Чтобы пользователи могли безопасно хранить, классифицировать и искать свои данные.

Возможности управления метаданными, предоставляемые AWS Lake Formation:

• Сбор метаданных
• Обработка/очистка метаданных
• Обслуживание метаданных
• Безопасность метаданных

Facebook Nemo

Интеллектуальный анализ данных в широком смысле в основном включает в себя две части: индексацию и обслуживание. Выполните обучение модели и интеллектуальный анализ данных на основе данных управления данными.

платформа механизма запросов

Прыжок

Доставка Мейтуань

Архитектура построения метаданных включает снизу вверх:

• Сбор метаданных: включая ручной ввод、Автоматическое извлечение
• Здание метамодели：определениебазовая метамодельиметамодель родства
• Службы метаданных: базовые службы метаданных, службы родословной.
• Приложения метаданных: поиск номеров, мониторинг и управление, визуальные отчеты и т. д.

Прыжок

NetEase тщательно отобрана

Система управления данными представлена ​​на рисунке.：сконец Вверх по главнойвключатьБазовые услуги данных, модели управления данными, приложения для управления даннымиждать 3 слой

Прыжок

Основные услуги управления данными:

1. Единая служба метаданных (MetaService)
2. Служба родословной полной связи (LineageService)
3. Создание сервиса мониторинга (MonitorService)

Модель управления данными：Автоматизированное управление ссылками на производство данных,Интегрируйте управление данными с управлением ресурсами

• Table Lifecycle Model：управление жизненным циклом,Автоматическая классификация по количеству обращений к таблице：Hot, Warn, Холодный, в службах управления данными Task Governace Module То есть, да Table Lifecycle Model На основе реализации модели, стратегии, исполнения и другого полнопроцессного автоматизированного управления.
• Task Health Model：да Основа управления данными,Из измерения задачи,На основе опыта Подвести сумма в основном включает в себя 7 Есть три типа задач, которые необходимо оптимизировать соответственно: холодные задачи, неправильные зависимости задач, отсутствие зависимостей задач, необоснованная конфигурация задач, слишком долгая работа, потребление слишком большого количества ресурсов, перекос задач и т. д. Задача Health Model В основном определите вышеуказанные задачи обработки данных, которые можно оптимизировать, и оптимизируйте задачи. action Обеспечьте основу.
• Data batch-process Model：Ключевые моменты всего звена производства данных,Узкие места системных ресурсов,Общая информация о стратегии планированияждатьждать。Data Batch Process Model Можете ли вы рассказать нам, под какими углами оптимизировать систему управления, чтобы получить максимальную отдачу? ROI。

Сравнение функций

Основываясь на исследованиях отраслевых решений, вы можете Подвести Итог Найдены следующие правила：

• Продукты управления данными с открытым исходным кодом также постоянно итеративно обновляются: от отдельных сервисов до распределенных сервисов.,Дандукуправляемый сообщениямидляхозяин,Многие распространенные системы управления метаданными,Промежуточное программное обеспечение сообщений будет использоваться для разделения сбора и обработки данных.,Сделайте систему более универсальной. Новые гетерогенные источники данных,Просто отправьте метаданные в промежуточное программное обеспечение сообщений в соответствии с указанным форматом сообщения.,Метаданные могут обрабатываться системой;
• 完整изданные治理система МожеткточкадляПять базовых модулей：метамодельопределение、Сбор метаданных、Обработка метаданных、Хранение метаданных、Приложение метаданных；Более Можно ссылаться«Платформа больших данных: унифицированное управление метаданными»
• данные治理Служить常用изОсновные компонентыиметь：
  • Реляционная база данных: используется для хранения метаданных,
  • База данных индексов: используется для поиска данных, например ElasticSearch.
  • графовая база данных：используется для关联данныехранилище,Например, метаданные происхождения данных;
  • Промежуточное программное обеспечение сообщений: используется для разделения операций с метаданными;
  • Механизм планирования: используется для выполнения задач по сбору данных.

Единая архитектура метаданных Tencent Cloud Data Lake：Поддержка онлайн-каталога данныеи Унификация автономного управления данными, помимо совершенных возможностей автономного управления данными, также обеспечивает онлайн-каталог вычислительных механизмов. данных Функция。

В таблице ниже показаны различные системы. с открытым исходным кодом与腾讯云данные治理Функцияиз对比,Среди них услуги по управлению данными Tencent в основном предоставляются WeData.,Сравнение показывает, что Tencent Cloud Data Governance обладает богатыми и полными возможностями автономного управления.

Подвести итог

Согласно прошлому опыту,Помимо функциональной целостности системы,Системы управления данными с открытым исходным кодом сложно использовать непосредственно в реальном бизнесе.потому чтодляданные治理даи бизнес-направленияи Морфология тесно связана с,В целях обеспечения универсальности проекты с открытым исходным кодом,Оно будет максимально оторвано от конкретного бизнеса. поэтому,Непосредственно используйте несколько абстрактную и общую систему с открытым исходным кодом., можно получить только относительно базовые возможности управления данными, и трудно получить ценность данных, связанных с бизнесом. Если совмещать с бизнесом, то нужна система с открытым исходным кодом Провести глубокую вторичную разработку,потому что此我们существоватьМодуль управления даннымивыбирать Понятно完全с研。

Я участвую в последнем конкурсе эссе для специального учебного лагеря Tencent Technology Creation 2024, приходите и разделите со мной приз!