Потратив ок. 4 годы, посвященные Apache Худи (который включает в себя 3 Проработав 20 лет коммиттером, я решил начать эту серию блогов (blog.datumagin.com), целью которой является организованное и удобное для новичков представление. Hudi Дизайн и использование. Моя цель — сделать так, чтобы люди, обладающие некоторыми знаниями о системах распределенных данных, могли легко понять эту серию. В серию войдет 10 статьи, каждая статья будет подробно рассмотрена Hudi ключевой аспект. (Почему 10? совершенно верно 0 и 1 Забавное дань уважения, перекликающееся с названием серии :)) Конечная цель — помочь читателям понять вширь и глубину. Hudi, что позволяет им уверенно использовать и вносить свой вклад в этот проект с открытым исходным кодом. На момент написания статьи Худи 0.14.0 В настоящее время находится на стадии релиз-кандидата. Поэтому вся серия, а также вспомогательный код и примеры будут основаны на этой версии.

Обзор

Hudi Это транзакционная платформа Data Lake, которая объединяет в Data Lake функции библиотеки и хранилища данных. Картинка ниже взята из Hudi Вебинары, организованные сообществом[1], наглядно объясняют основные возможности платформы.

Hudi Ядро определяет формат таблицы для организации данныхиметаданных файлов внутри системы хранения, тем самым достигая ACID Транзакции, эффективная индексация и дополнительные функции обработки. В оставшейся части статьи будут рассмотрены детали формата, основное внимание будет уделено отображению хранилища. Hudi Структура таблицы и объяснение роли различных файлов.

Формат хранения

На картинке ниже описано Hudi поверхностьсуществоватьхранилище Типично для основного пути вданныемакет。

Существует два основных типа файлов: расположенные в .hoodie/ метаданные файлы в каталоге,и файл данных в пути к разделу хранилищасуществовать (если таблица секционирована),или непосредственно существует файл данных по базовому пути (если он не разделен).

метаданные

<base path>/.hoodie/hoodie.properties документ包含基本的поверхность配置,Например, имя и версия таблицы.,И записывающая, и читающая стороны таблицы будут учитывать и использовать эти конфигурации.

Помимо hoodie.properties существуют метафайлы, которые записывают в таблицу операции транзакций, формируя временную шкалу таблицы Hudi.

# an example of deltacommit actions on Timeline
20230827233828740.deltacommit.requested
20230827233828740.deltacommit.inflight
20230827233828740.deltacommit

Эти метафайлы имеют следующий шаблон именования:

<action timestamp>.<action type>[.<action state>]

"action timestamp"

• • Отметьте время первого запланированного запуска операции.
• • Уникально идентифицируйте действия на временной шкале.
• • существуют монотонно возрастающие между различными операциями на временной шкале.

"action type» показывает, какие изменения внесло действие. Существуют некоторые типы операций записи, например commit и deltacommit,Они указывают на новые операции записи (вставки, обновления и удаления), произошедшие с таблицей. также,Также есть операции обслуживания таблиц.,Например сжатие и очистка,и восстановительные операции,Например точка сохранения и восстановления. Мы обсудим различные типы действий более подробно в следующем посте.

«Состояние действия» может быть «запрошено», «в процессе» или «завершено» (без суффикса). Как следует из названия, «Запрошено» означает, что запуск запланирован, «Выполнение» означает, что оно выполняется, а «Завершено» означает, что операция завершена.

Метафайл для этих операций имеет формат JSON или AVRO и содержит информацию об изменениях, которые следует применить к таблице или уже были применены. Сохранение этих журналов транзакций позволяет воссоздать состояние таблицы, реализовать изоляцию моментальных снимков и разрешить конфликты записи с помощью механизмов управления параллелизмом.

.hoodie/ Под ним находятся и другие метаданные файлы и каталоги. Приведу несколько примеров: метаданные содержат больше метаданных, связанных с операциями на временной шкале, и действуют как индекс на стороне записи и на стороне чтения. .heartbeat/ в каталоге хранятся файлы, используемые для управления пульсом, а .aux/ зарезервированы для различных вспомогательных целей.

данные

Hudi делит файлы физических данных на базы. Файл (базовый файл) и Журнал Файл (файл журнала):

• • Основная запись хранилища в таблице Hudi и чтение по ней.
• • Файл журнала содержит записанные изменения поверх связанного с ним базового файла и модифицируется для записи.

существовать Hudi В пути к разделу таблицы (как показано на схеме предыдущего макета) один базовый файл и связанные с ним файлы журнала (Может нет или несколько) группируются в виде фрагментов файла. Несколько фрагментов файла образуют группу файлов. Группы файлов и фрагменты файлов представляют собой логические концепции, целью которых является инкапсуляция физических файлов, тем самым упрощая операции доступа на стороне чтения и записи. Определяя эти модели, Худи Может

• • Соответствовать требованиям эффективности чтения и письма. Обычно базовый файл настраивается как столбчатый формат файла (например, Apache Parquet), а файл журнала настраивается как формат файла на основе строк (например, Apache Avro).
• • Внедрить контроль версий для операций фиксации. Каждый фрагмент файла связан с определенной временной меткой операции на временной шкале, а фрагменты файлов в группе файлов по существу отслеживают, как содержащиеся в них записи изменяются с течением времени.

Можете быстро взглянуть на пример таблицы Hudi здесь [2], чтобы узнать о данныхмакете.

тип таблицы

Hudi Определены два типа таблиц - Копировать при записи (CoW) èОбъединить во время чтения (МОР). Различия в компоновке следующие: vs. MoR По сравнению с CoW Файл журнала отсутствует, и операция записи приводит к .commit операция вместо .deltacommit。существовать В нашей дискуссии,У нас всегда MoR Например. однажды освоенный Мор, пойми CoW Это становится просто - Может Воля CoW рассматривается как MoR Особый случай, когда изменения в записях базового файла неявно объединяются с новым базовым файлом во время каждой операции записи. Можетсуществоватьздесь[3] Посмотреть пример CoW поверхность.

существования При выборе типа таблицы для таблицы Худи,Важно учитывать шаблоны чтения и записи.,Потому что это будет иметь некоторые последствия:

• • поскольку ваша запись перезаписывает запись в новый фрагмент файла, CoW Имеет более высокое усиление записи, а операции чтения всегда оптимизируются. Это идеально подходит для аналитических рабочих нагрузок с большим объемом чтения или для поверхностей небольшого размера.
• • MoR имеет более низкое усиление записи,Поскольку изменения «буферизуются» в файле журнала.,И выполните пакетную обработку для объединения и создания новых фрагментов файлов. но,Это повлияет на задержку чтения,Поскольку чтение последних записей требует объединения файла журнала с основным файлом в реальном времени.

Пользователь также может выбрать только для чтения MoR Базовые файлы таблиц для повышения эффективности без ущерба для свежести результатов. Подробнее об этом поговорим в следующем посте Hudi разные режимы чтения. вместе с Hudi Разработка проекта, с. MoR Чтение таблицы, связанной с затратами на слияние, существует в предыдущих версиях, получивших оптимизацию. «предвидение» MoR Станет предпочтительным типом таблицы для большинства сценариев рабочей нагрузки.

обзор

существование Ноль к первой статье серии,Мы изучаем основные понятия Hudi Формат хранения.,уточнитьметаданныеиданныесуществовать Hudi структура в таблице. Мы также кратко объясняем различные типы таблиц и их компромиссы. Как показано на обзорном изображении, Худи как всеобъемлющий Lakehouse платформа,Предоставляйте функции в разных измерениях. существуют В следующих девяти статьях,Я расскажу о других важных аспектах платформы.

Справочная ссылка

[1] Hudi Вебинары, проводимые сообществом: [https://www.youtube.com/live/rOOXajfRZ_w?si=VesAn95eyIc_z2DM&t=549](https://www.youtube.com/live/rOOXajfRZ_w?si=VesAn95eyIc_z2DM&t=549) [2] Здесь: [https://github.com/xushiyan/apachehudi-from0to1/tree/main/post-01/example-MoR-table](https://github.com/xushiyan/apachehudi-from0to1/tree/main/post-01/example-MoR-table) [3] Здесь: [https://github.com/xushiyan/apachehudi-from0to1/tree/main/post-01/example-CoW-table](https://github.com/xushiyan/apachehudi-from0to1/tree/main/post-01/example-CoW-table)