Паркет и ORC: высокопроизводительная колонная система хранения данных | Заметки о молодежном сборе |
Паркет и ORC: высокопроизводительная колонная система хранения данных | Заметки о молодежном сборе |

Паркет и ORC: высокопроизводительное столбчатое хранилище

Хранилище столбцов, хранилище строк

Обзор уровня формата данных

Вычислительный уровень: различные вычислительные механизмы.

Уровень хранения: постоянное хранилище, в котором хранятся данные.

Уровень формата данных: определяет организационный формат в файле уровня хранения. Вычислительный механизм считывает и записывает файлы посредством поддержки уровня формата с точки зрения формы данных с многоуровневой точки зрения.

С иерархической точки зрения форма данных,Механизм вычислений ведет себя какRows+Columns,хранилищеслоистыйданные ФормаfileиBlocks、Слой форматаФайл внутреннийиз Расположение данных (Layout+Schema)

данные Сценарий анализа запроса:OLTP vs. OLAP

OLTP: формат хранения строк (хранилище строк)

Данные каждой строки представляют собой последовательное хранилище в файле.,Чтение всей строки данных эффективно,ОдинокийIOПросто читайте последовательно。Типичные системы являются реляционными.данные Библиотека、key-valueданные Библиотека

OLAP: столбчатый формат хранения (столбцовое хранилище)

Данные каждого столбца в файле представляют собой непрерывное хранилище.,Чтение всего столбца более эффективно,данные в одном столбце имеют один и тот же тип,Кодирование со сжатием более эффективно. Общие крупномасштабные системы анализа данных, такие как SQL-on-Hadoop.,Анализ озера данныхждатьили者ClickHouse,Greenplum,Алибаба ОблакоMaxComputeждатьданные仓Библиотека就是这种Формат

Резюме: Уровень формата определяет расположение данных.,连接计算引擎ихранилище Служить。OLTPиOLAPРазница в сценах очевидна。Бизнес-сценарии определяют техническую реализацию,банковский депозит Применимо кOLTP,Список Применимо кOLAP

Parquet

Parquetбольшойданные分析领域使用最广из Список Формат;Sparkрекомендоватьхранилище Формат

Dremelмодель данных

Protocol Bufferопределение、Поддерживает необязательные и повторяющиеся поля.、Поддержка вложенных типов (вложенные типы сохраняют только данные конечных узлов)

Расположение данных

RowGroup: каждая группа строк содержит определенное количество строк фиксированного размера.

ColumnChunk:RowGroupРазделить на несколько столбцовColumnChunk

Страница: ColumnChunk по-прежнему внутренне делится на страницы.,общий совет8KBразмер。сжатиеикодированиеиз基本单元。根据保存изданные Типы делятся наData Page、Dictionary Page、Index Page

FooterСохранение метаинформации файла:SchemaConfig、Metadata(Rowgroup Meta、Column Meta)

кодированиеEncoding

Plainпрямойхранилищеоригинальныйданные

Кодирование длины прогона (RLE) подходит для сценариев, в которых база столбцов небольшая и имеется много повторяющихся значений, таких как перечисления, логические значения, фиксированные параметры и т. д.

Bit-Pack Encoding:СотрудничатьRLEкодирование使用,Сделайте хранилище пластиковых номеров более компактным

Кодировка словаря Словарь Кодирование в основном используется для кодирования строк.,Подходит для случаев, когда основание колонны невелико.,Построить словарную таблицу,написатьDictionary Page;Пучокданныеиспользовать словарьindexзаменять,Затем используйтеRLEкодирование

默认场景下parquet-mrбудет автоматически основываться наданные Выбор функции。在业务自определение场景下,Можно использоватьorg.apache.parquet.column.values.factory.ValuesWriteFactory

сжатиеcompression

pageЗаканчиватьencodingпосле,Компресс

Поддерживает несколько алгоритмов сжатия.

snappy: блок скорости сжатия, низкая степень сжатия, подходит для горячих данных.

gzip: медленная скорость сжатия, высокая степень сжатия, подходит для холодных данных.

zstd: новый алгоритм сжатия.,сжатие比иgzipпочти,而且сжатие速度比肩snappy

Рекомендуемый выборsnappyилиzstd,Полностью протестируйте эффект сжатия в зависимости от типа бизнеса.,и влияние на производительность запросов

индексIndex

По сравнению с традиционными базами данных поддержка индексов очень грубая.

Min-Max Index:Записыватьpageвнутреннийcolumnизmin_valueиmax_value

Column Index:footer里изcolumn metadataВключатьcolumnChunkиз全部pageизMin-Max value

Offset Index:Записыватьpage在文件中изoffsetиpageизrow range

bloom filter
  • parquet.bloom.filter.enabled
  • Для сценариев, когда основание колонны относительно велико,Или фильтрация неотсортированных столбцов,Min-Max Index很难发挥作用
  • 引入bloom filter加速过滤匹配判定
  • 每个ColumnChunkиз头部保存изbloom filterданные
  • footerЗаписыватьbloom filterизpage offset

сортироватьOrdering

  • Концепция аналогична кластерному индексу
  • Сортировка помогает лучше отфильтровывать ненужные группы строк или страницы.,на небольшие суммыданныеseekОчень полезно
  • parquet FormatподдерживатьsortingColumns
  • parquet Library目前没有поддерживать
  • Положитесь на бизнес-сторону, чтобы обеспечить порядок на основе характеристик запроса

фильтр с понижениемPredicate PushDown

  • parquet mrБиблиотекавыполнить,Внедрить эффективный механизм фильтрации
  • Входящее со стороны двигателяfilter expression
  • parquet mrпревратить в бетонcolumnиз条件匹配
  • 查询footer里изcolumn index,Найдите конкретный номер строки
  • Возвращает действительные данные на сторону движка

векторизованное чтение искровой интеграции

  • Векторизованное чтение реализовано на базе класса parquetFileFormat.
  • Переключатель векторизованного чтенияspark.sql.parquet.ebableVectorizeReader
  • Векторизованное чтение является стандартной практикой для основных механизмов анализа больших данных и может значительно повысить производительность запросов.
  • sparkкbatchиз方式从parquetчитатьданные,下推из逻辑也会适配batchиз方式

ORCПодробное объяснение

ORC — один из наиболее широко используемых форматов в области крупномасштабного анализа.,отhiveпроект

модель данных

  • ORC会给包括根节点在内из中间节点都创建一个column
  • 嵌套类型или者集合类型поддерживатьиparquetбольшая разница
  • необязательный и повторяющийся字段依赖父节点Записывать额外信息来重新assemblyданные

Расположение данных

  • похожийparquet
  • rooter+stripe+column+page(row group) структура
  • encoding/compression/indexподдерживать上иparquetпочти единогласно

ACID特性简介

  • поддерживатьHive Transactionsвыполнить,В настоящее время существуют толькоhive本身集成
  • похожийdelta lake/hudi/iceberg
  • на основеBase+Delta+Compactionиз设计

паркет против ORC

  • С принципиального уровня,最大из差别就是对于nestedTypeи复杂类型из处理上
  • parquetиз算法上要复杂很多,带来изcpuиз开销比orcнемного больше
  • orcиз算法相对简单,Но читать далееданные
  • Следовательно, влияние этой разницы на бизнес-результаты зависит от фактического бизнес-сценария.

Эволюция списка

Хранение столбцов в хранилище данных

  • clickhouseизmergeTree引擎也是на основе Список构建из
  • 默认情况下列按照columnРасколоть
  • Поддержка более богатых индексов
  • Общая тенденция интеграции озер и складов

Сторона хранения, опускающаяся вниз

  • Больше работы по передаче данных на сторону обслуживания хранилища
  • Чем ближе это к данным, тем выше эффективность фильтрации с понижением.
  • НапримерAWS S3 SelectФункция

испытание:хранилищебоковое восприятиеschema、Совместимость и интеграция вычислительной экосистемы、column family

boy illustration
Углубленный анализ переполнения памяти CUDA: OutOfMemoryError: CUDA не хватает памяти. Попыталась выделить 3,21 Ги Б (GPU 0; всего 8,00 Ги Б).
boy illustration
[Решено] ошибка установки conda. Среда решения: не удалось выполнить первоначальное зависание. Повторная попытка с помощью файла (графическое руководство).
boy illustration
Прочитайте нейросетевую модель Трансформера в одной статье
boy illustration
.ART Теплые зимние предложения уже открыты
boy illustration
Сравнительная таблица описания кодов ошибок Amap
boy illustration
Уведомление о последних правилах Points Mall в декабре 2022 года.
boy illustration
Даже новички могут быстро приступить к работе с легким сервером приложений.
boy illustration
Взгляд на RSAC 2024|Защита конфиденциальности в эпоху больших моделей
boy illustration
Вы используете ИИ каждый день и до сих пор не знаете, как ИИ дает обратную связь? Одна статья для понимания реализации в коде Python общих функций потерь генеративных моделей + анализ принципов расчета.
boy illustration
Используйте (внутренний) почтовый ящик для образовательных учреждений, чтобы использовать Microsoft Family Bucket (1T дискового пространства на одном диске и версию Office 365 для образовательных учреждений)
boy illustration
Руководство по началу работы с оперативным проектом (7) Практическое сочетание оперативного письма — оперативного письма на основе интеллектуальной системы вопросов и ответов службы поддержки клиентов
boy illustration
[docker] Версия сервера «Чтение 3» — создайте свою собственную программу чтения веб-текста
boy illustration
Обзор Cloud-init и этапы создания в рамках PVE
boy illustration
Корпоративные пользователи используют пакет регистрационных ресурсов для регистрации ICP для веб-сайта и активации оплаты WeChat H5 (с кодом платежного узла версии API V3)
boy illustration
Подробное объяснение таких показателей производительности с высоким уровнем параллелизма, как QPS, TPS, RT и пропускная способность.
boy illustration
Удачи в конкурсе Python Essay Challenge, станьте первым, кто испытает новую функцию сообщества [Запускать блоки кода онлайн] и выиграйте множество изысканных подарков!
boy illustration
[Техническая посадка травы] Кровавая рвота и отделка позволяют вам необычным образом ощипывать гусиные перья! Не распространяйте информацию! ! !
boy illustration
[Официальное ограниченное по времени мероприятие] Сейчас ноябрь, напишите и получите приз
boy illustration
Прочтите это в одной статье: Учебник для няни по созданию сервера Huanshou Parlu на базе CVM-сервера.
boy illustration
Cloud Native | Что такое CRD (настраиваемые определения ресурсов) в K8s?
boy illustration
Как использовать Cloudflare CDN для настройки узла (CF самостоятельно выбирает IP) Гонконг, Китай/Азия узел/сводка и рекомендации внутреннего высокоскоростного IP-сегмента
boy illustration
Дополнительные правила вознаграждения амбассадоров акции в марте 2023 г.
boy illustration
Можно ли открыть частный сервер Phantom Beast Palu одним щелчком мыши? Супер простой урок для начинающих! (Прилагается метод обновления сервера)
boy illustration
[Играйте с Phantom Beast Palu] Обновите игровой сервер Phantom Beast Pallu одним щелчком мыши
boy illustration
Maotouhu делится: последний доступный внутри страны адрес склада исходного образа Docker 2024 года (обновлено 1 декабря)
boy illustration
Кодирование Base64 в MultipartFile
boy illustration
5 точек расширения SpringBoot, супер практично!
boy illustration
Глубокое понимание сопоставления индексов Elasticsearch.
boy illustration
15 рекомендуемых платформ разработки с нулевым кодом корпоративного уровня. Всегда найдется та, которая вам понравится.
boy illustration
Аннотация EasyExcel позволяет экспортировать с сохранением двух десятичных знаков.