Руководство по оптимизации запросов Hive на Tez

Не существует универсального подхода к оптимизации запросов Hive в Tez. Производительность запроса зависит от размера данных, типа файла, структуры запроса и режима запроса. Во время тестирования производительности необходимо оценить и проверить параметры конфигурации и любые изменения SQL. Рекомендуется вносить только одно изменение за раз во время тестирования производительности вашей рабочей нагрузки и оценивать влияние изменений настройки, желательно в среде разработки, прежде чем использовать их в производственной среде.

Вот несколько основных советов по устранению неполадок с запросами Hive на Tez.

Руководство по настройке

Разные версии куста и разные механизмы выполнения имеют разное поведение настройки, поэтому один и тот же SQL может иметь разную скорость.

В общем, мы можем использовать следующие шаги, чтобы определить области, которые могут вызывать снижение производительности.

1. Проверьте и подтвердите конфигурацию планировщика мощности YARN.

Ошибки конфигурации очереди могут повлиять на производительность запросов из-за произвольных ограничений на ресурсы, доступные пользователям. Проверьте коэффициент ограничения пользователей, минимальный процент ограничения пользователей и максимальную емкость.

1. Проверьте, применимы ли какие-либо предохранительные клапаны (не по умолчанию) в конфигурациях Hive и HiveServer2.

Удалите все устаревшие и устаревшие свойства.

1. Определите медленные области, такие как задачи картографа, задачи редуктора и операции соединения.

• Обзор общих тюнинговых свойств двигателя и платформы Tez.
• Просмотрите задачи картографа и при необходимости увеличьте/уменьшите количество задач.
• Просмотрите задачи редуктора и при необходимости увеличьте/уменьшите количество задач.
• Просмотрите все связанные вопросы одновременно. Вопросы одновременно делятся на два типа.,Как упомянуто ниже：
  • одновременно между пользователями в очереди. Это можно настроить, отрегулировав коэффициент ограничения пользователя для очереди YARN (подробности см. в блоге планировщика емкости).
  • Hive on TezРазговорный Разогрейте одновременно между контейнерами, см. ниже.

Понимание распараллеливания в Tez

Прежде чем изменять какую-либо конфигурацию, важно понять внутреннюю работу Tez. Сюда входит, например, понимание того, как Tez определяет правильное количество картографов и редукторов. Обзор архитектуры Tez и подробности о параллелизме начальных задач и автоматическом параллелизме редуктора помогут оптимизировать производительность запросов.

Понять количество картографов

Tez использует исходные входные данные задания, чтобы определить количество задач картографа. В Tez количество задач определяется разделением группы, что эквивалентно количеству картографов, определенному разделением входных данных в задании MapReduce.

• tez.grouping.min-size и tez.grouping.max-size Решатьmapperколичество。min-sizeЗначение по умолчанию:16 MB,max-sizeдля1 GB。
• Tez определяет количество задач так, чтобы объем данных для каждой задачи соответствовал максимальному/минимальному размеру группы.
• уменьшать tez.grouping.max-size Увеличится количество задач/картографа.
• Увеличивать tez.grouping.max-size Уменьшит количество задач.

Например:

• Входные данные (входящие измельченные/разделенные) – 1000 файлов (размер ~1,5 МБ)
• Общий размер данных составляет примерно – 1000*1,5 МБ = ~1,5 ГБ.
• Tez может попытаться обработать эти данные, используя как минимум две задачи, поскольку максимальный размер данных для каждой задачи может составлять 1 ГБ. В конечном итоге Tez может принудительно объединить (разделить) 1000 файлов на две задачи, что приведет к замедлению времени выполнения.
• Если tez.grouping.max-size от 1 GBуменьшать до 100 MB,Количество картографов может варьироваться от 15 до 15.,тем самым обеспечивая лучший параллелизм. Производительность улучшается,Потому что улучшенный параллелизм распределяет работу по 15 задачам одновременно.

Выше приведен пример сценария, однако при использовании в производственной среде форматов двоичных файлов, таких как ORC или Parquet, определение количества преобразователей на основе типа хранилища, разделения файлов политики или границ блоков HDFS может усложниться.

Примечание. Более высокая степень параллелизма (например, большое количество преобразователей/редукторов) не всегда означает более высокую производительность, поскольку это может привести к сокращению ресурсов на задачу и их пустой трате из-за накладных расходов на выполнение задачи.

Понимание количества редукторов

Tez использует различные механизмы и настройки для определения количества редукторов, необходимых для выполнения запроса.

• Tez автоматически определяет редуктор на основе данных (количества байтов), подлежащих обработке.
• если hive.tez.auto.reducer.parallelism Если установлено значение true, Hive оценивает размер данных и устанавливает оценки параллелизма. Tez будет выбирать выходной размер исходных вершин во время выполнения и при необходимости корректировать оценку.
• По умолчанию,максимумreducerколичествонастраиватьдля1009（hive.exec.reducers.max）。
• Hive/Tez использует следующую формулу для оценки количества редукторов, а затем планирует Tez DAG:

Max(1, Min(hive.exec.reducers.max [1009], ReducerStage estimate/hive.exec.reducers.bytes.per.reducer)) x hive.tez.max.partition.factor [2]

Следующие три параметра можно настроить для увеличения или уменьшения количества картографов:

• hive.exec.reducers.bytes.per.reducer：каждыйreducerразмер。Изменятьдля Меньшее значениек Увеличивать Параллелизм,或Изменятьдля Большее значениекуменьшать Параллелизм。значение по умолчаниюдля256 МБ (т. е. если входной размер равен 1 ГБ, используйте 4 переходника).
• tez.min.partition.factor：значение по умолчаниюдля0.25。
• tez.max.partition.factor：значение по умолчаниюдля2.0。Увеличиватьк Увеличиватьreducerколичество,уменьшатькуменьшатьreducerколичество。

Пользователи могут использовать mapred.reduce.tasks Вручную задайте количество редукторов. Это не рекомендуется, и этого следует избегать.

предположение:

• Избегайте ручной установки количества редукторов.
• Увеличить Количество редукторов не всегда гарантирует лучшую производительность.
• Согласно оценке ступени редуктора, необходимое количество переходников равно «Увеличить» или «Уменьшить» и может быть отрегулировано. hive.exec.reducers.bytes.per.reducer параметр на меньшее или большее значение.

одновременно

нам нужно понятьи КорректированиеTezнаHiveодновременносессия,Если запущено несколько Tez Контейнер АМ. Следующие свойства полезны для понимания поведения очереди по умолчанию и номера сеанса.

• hive.server2.tez.default.queues：иYARNСоответствует очередиксписок значений, разделенных запятыми,Используется для обслуживания пула сеансов Tez.
• hive.server2.tez.sessions.per.default.queue：каждыйYARNочередь в пулеTezсессия（DAGAppMaster）количество。
• hive.server2.tez.initialize.default.sessions：еслидавать возможность,HiveServer2（HS2）При запуске все необходимоеTezсессиякудовлетворить sessions.per.default.queue Требовать.

Если определены следующие свойства, HiveServer2 создаст Tez Application Master (AM) для каждой очереди по умолчанию, умноженный на количество сеансов при запуске службы HiveServer2. поэтому:

(Tez Sessions)total = HiveServer2instances x (default.queues) x (sessions.per.default.queue)

Пример описания:

• hive.server2.tez.default.queues= “queue1, queue2”
• hive.server2.tez.sessions.per.default.queue=2 =>HiveServer2создаст4индивидуальныйTez AM (два для очереди1, два для очереди2).

ПРИМЕЧАНИЕ. Сеансы Tez в пуле выполняются всегда, даже в простаивающем кластере.

Если HiveServer2 используется постоянно, эти Tez АМ продолжит работать, но если HS2 будет простаивать, эти Тезы АМ будет основан на tez.session.am.dag.submit.timeout.secs Определенный тайм-аут завершается.

Случай 1: имя очереди не указано.

если В запросе не указано имя очереди（tez.queue.name）,тогда будет использоваться только Тез в бассейне AM (инициализируется, как указано выше). В этом случае HiveServer2 выберет бесплатный/доступный Tez. AM (имена очередей могут выбираться случайным образом). Если имя очереди не указано, запрос будет оставаться ожидающим в HiveServer2 до тех пор, пока в пуле не появится Tez по умолчанию. AM для обработки запроса. В файлах журнала клиента JDBC/ODBC или HiveServer2 сообщений не будет. Поскольку сообщение не генерируется, при зависании запроса пользователь может подумать, что соединение JDBC/ODBC или HiveServer2 отключено, но на самом деле он ожидает Tez. AM выполняет запрос.

Случай 2. Укажите имя очереди.

Если в запросе указано имя очереди, HiveServer2 создаст новый Tez AM для этого подключения независимо от того, сколько инициализированных Tez AM используется или свободно, и запрос может быть выполнен (если в очереди есть доступные ресурсы).

руководство/совет одновременно

• Для пользователей, которые не хотят ограничиваться одним и тем же Tez Вариант использования или запрос в пуле AM будет hive.server2.tez.initialize.default.sessions Установите значение «ложь». Отключение этой опции уменьшает конфликты на HiveServer2 и повышает производительность запросов.
• также,Увеличивать hive.server2.tez.sessions.per.default.queue количество сеансов.
• если есть необходимость в отдельном или выделенном Tez для каждой группы пользователей AMВарианты использования бассейна,Необходимо предоставить выделенный сервис HiveServer2 для каждой группы пользователей.,Каждая служба имеет соответствующее имя очереди по умолчанию и количество сеансов.,И потребовать от каждой группы пользователей использовать свой собственный HiveServer2.

Повторное использование контейнеров и предварительный нагрев контейнеров

Повторное использование контейнеров

Это оптимизация, которая уменьшает влияние времени запуска контейнеров. установив tez.am.container.reuse.enabled Установите значение true, чтобы включить эту функцию. Это экономит время при взаимодействии с YARN. Вы также можете поддерживать активность групп контейнеров, быстро разворачивать контейнеры и пропускать очереди YARN.

Разогрейте контейнер

Количество контейнеров связано с количеством контейнеров выполнения YARN, которые будут прикреплены к каждому Tez AM. Даже если Tez AM простаивает (не выполняется запрос), то же количество контейнеров резервируется для каждого AM. В некоторых случаях это может привести к тому, что слишком много контейнеров будут простаивать и не освобождаться, поскольку определенные здесь контейнеры будут сохранены Tez AM, даже если они свободны. Эти простаивающие контейнеры будут продолжать занимать ресурсы в YARN, которые могут быть использованы другими приложениями.

Для настройки контейнера «Разогрейте» используются следующие свойства:

• hive.prewarm.enabled
• hive.prewarm.numcontainers

Общие параметры настройки Tez

Просмотрите следующие свойства в качестве проверки первого уровня при снижении производительности запросов Hive в Tez. Возможно, вам придется установить или настроить некоторые из этих свойств на основе свойств запроса и данных. Лучше всего оценивать свойства конфигурации в средах разработки и контроля качества, а затем на основе результатов отправлять их в рабочую среду.

• hive.cbo.enable Установка для этого свойства значения true включает оптимизацию на основе затрат (CBO). CBO является частью механизма обработки запросов Hive, работающего на базе Apache. Кальцит обеспечивает поддержку. CBO генерирует эффективный план запроса, проверяя таблицу и условия, указанные в запросе, что в конечном итоге сокращает время выполнения запроса и улучшает использование ресурсов.
• hive.auto.convert.join Установка для этого свойства значения true позволяет Hive включить оптимизацию преобразования общих объединений в сопоставления на основе размера входного файла.
• hive.auto.convert.join.noconditionaltask.size Вам нужно будет выполнить как можно больше сопоставлений в своем запросе. Эта конфигурация размера позволяет пользователю контролировать размер таблицы, которая помещается в памяти. Это значение представляет собой общий размер таблицы, которую можно преобразовать в хеш-таблицу, помещающуюся в памяти. Рекомендуется установить его на hive.tez.container.size 1/3.
• tez.runtime.io.sort.mb Размер буфера сортировки при сортировке вывода. Рекомендуется установить его на hive.tez.container.size 40%, максимальное значение — 2 ГБ. Обычно нет необходимости превышать это максимальное значение.
• tez.runtime.unordered.output.buffer.size-mb Память, когда вывод не требует сортировки. Это размер буфера, который не записывается напрямую на диск. Рекомендуется установить его на hive.tez.container.size 10%.
• hive.exec.parallel Это свойство обеспечивает параллельное выполнение этапов запроса Hive. По умолчанию для этого свойства установлено значение false. Установка для этого свойства значения true помогает распараллелить независимые этапы запроса, повышая общую производительность.
• hive.vectorized.execution.enabled Выполнение векторизованного запросаHiveЦель однаиндивидуальный Функция,Это значительно снижает загрузку ЦП при выполнении типичных операций запроса, таких как сканирование, фильтрация, агрегирование и объединение. По умолчанию,Для этого свойства установлено значение false. Установите значение true.
• hive.merge.tezfiles По умолчанию,Для этого свойства установлено значение false. Установка для этого свойства значения true приведет к объединению файлов Tez. Использование этого свойства может повлиять на время выполнения запроса «Увеличить» или «Уменьшить» в зависимости от размера данных или количества объединяемых файлов. Прежде чем использовать это свойство,Пожалуйста, оцените производительность запросов в более низкой среде.
• hive.merge.size.per.task Это свойство описывает размер объединенных файлов в конце задания.
• hive.merge.smallfiles.avgsize Если средний размер выходного файла задания меньше этого числа, Hive запустит дополнительное задание по уменьшению карты, чтобы объединить выходные файлы в файл большего размера. По умолчанию для этого свойства установлено значение 16. MB。

Источник статьи:Как Hive настраивает и оптимизирует запросы движка Tez? Руководство по оптимизации запросов Hive на Tez