Вставка больших объемов данных в улей
Вставка больших объемов данных в улей

Hive вставляет большие объемы данных

Введение

В области больших данных Hive — это широко используемый инструмент хранилища данных, который позволяет легко управлять и анализировать крупномасштабные данные. Когда в таблицу Hive необходимо вставить большой объем данных, нам необходимо рассмотреть некоторые стратегии оптимизации, чтобы повысить производительность и эффективность вставки.

1. Используйте таблицу разделов.

При вставке больших объемов данных в таблицы Hive рассмотрите возможность использования секционированных таблиц. Разумное секционирование данных позволяет уменьшить объем данных в одном разделе и повысить производительность запросов. При этом при вставке данных Hive будет параллельно обрабатывать данные в разных разделах, чтобы ускорить вставку.

Язык кода:javascript
копировать
sqlCopy code
-- Создать таблицу разделов
CREATE TABLE your_table(
    col1 string,
    col2 int
)
PARTITIONED BY (date string);
-- Вставить данные
INSERT INTO your_table PARTITION(date='2024-03-01') VALUES (...);

2. Включите динамическую вставку разделов.

Динамическая вставка разделов — это стратегия оптимизации, которая позволяет Hive автоматически выполнять секционирование на основе значений полей в данных, избегая ручного секционирования и упрощая операции. Динамическая вставка разделов может повысить эффективность при вставке больших объемов данных.

Язык кода:javascript
копировать
sqlCopy code
-- Включить динамическую вставку разделов
SET hive.exec.dynamic.partition=true;
SET hive.exec.dynamic.partition.mode=nonstrict;
-- Выполнить динамическую вставку раздела
INSERT INTO TABLE your_table PARTITION(date) VALUES (...);

3. Отрегулируйте настройки параметров.

существовать Вставка больших объемов данныхчас,Производительность можно оптимизировать, отрегулировав настройки параметров Hive. Например,увеличиватьhive.exec.reducers.bytes.per.reducerЗначение параметра,Контролируйте объем данных, обрабатываемых каждым редуктором,Избегайте искажения данных;Корректированиеmapred.reduce.tasksЗначение параметра,Увеличьте количество редукторов для параллельной обработки данных.

Язык кода:javascript
копировать
sqlCopy code
-- Отрегулируйте настройки параметров
SET hive.exec.reducers.bytes.per.reducer=256000000;
SET mapred.reduce.tasks=10;

Анализ журнала поведения пользователей сайта электронной коммерции

На веб-сайте электронной коммерции необходимо анализировать журналы поведения пользователей, чтобы понять их поведенческие привычки и предпочтения, чтобы оптимизировать систему рекомендаций веб-сайта и маркетинговую стратегию. Мы можем использовать Hive для хранения и анализа больших объемов данных о поведении пользователей.

Пример кода

Предположим, у нас есть следующий формат данных журнала поведения пользователя:

Язык кода:javascript
копировать
plaintextCopy code
user_id, action_type, product_id, timestamp

Нам нужно вставить эти данные журнала в таблицу Hive для анализа.

Создать таблицу разделов

Сначала мы создаем секционированную таблицу для хранения данных журнала поведения пользователей, секционированную по дате для последующего анализа:

Язык кода:javascript
копировать
sqlCopy code
CREATE TABLE user_behavior_logs(
    user_id string,
    action_type string,
    product_id string,
    timestamp string
)
PARTITIONED BY (date string);

Включить динамическую вставку разделов

Включить динамическую вставку разделов,Позвольте Hive автоматически разделять данные на основе дат в данных,Упростите операции вставки:

Язык кода:javascript
копировать
sqlCopy code
SET hive.exec.dynamic.partition=true;
SET hive.exec.dynamic.partition.mode=nonstrict;
-- Вставить данные
INSERT INTO TABLE user_behavior_logs PARTITION(date)
SELECT user_id, action_type, product_id, timestamp, SUBSTR(timestamp, 1, 10) AS date
FROM user_behavior_raw_logs;

Отрегулируйте настройки параметров

В зависимости от размера данных и ресурсов кластера Отрегулируйте параметры настроек для оптимизации производительности плагина.,Например, увеличьте количество редукторов:

Язык кода:javascript
копировать
sqlCopy code
SET mapred.reduce.tasks=20;
-- Выполнить динамическую вставку раздела
INSERT INTO TABLE user_behavior_logs PARTITION(date)
SELECT user_id, action_type, product_id, timestamp, SUBSTR(timestamp, 1, 10) AS date
FROM user_behavior_raw_logs;

от Пример выше код, в реальном анализе журнала поведения пользователей сайта электронной В коммерции мы можем использовать HiveВставка. больших объемов данные и проводить гибкий анализ, чтобы обеспечить надежную поддержку бизнес-решений.

Динамическое секционирование Hive

В Hive динамическое секционирование — это оптимизированный способ упростить вставку данных в секционированные таблицы. Благодаря динамическому секционированию Hive может автоматически секционироваться на основе значений полей в данных без необходимости вручную указывать значение раздела, что упрощает операции и повышает эффективность.

Принцип работы

При использовании динамического секционирования Вставить данныечас,HiveБудет основано на запросеSELECTЗначения полей в операторе автоматически генерируют разделы,И вставьте данные в соответствующий раздел. Процесс динамической вставки раздела делится на два этапа:

  1. первый этап:существоватьINSERT INTO TABLEв предложении,Укажите имя таблицы иPARTITIONКлючевые слова,исуществоватьVALUESВыберите поле, которое нужно вставить в предложение。Нет необходимости вручную указывать значения разделов,СкореесуществоватьSELECTв предложении Создать значение поля раздела。
  2. второй этап:существоватьSELECTв предложении,Создать значение поля раздела,И убедитесь, что оно соответствует полю секционирования, определенному в таблице.。Hiveбудет основано наSELECTв предложении Сгенерированное значение раздела определяет целевой раздел для вставки данных.。

Преимущества

  • Упрощение операций:Динамическое секционирование позволяет избежать утомительной операции по указанию значений разделов вручную.,Сделайте процесс вставки данных более простым и эффективным.
  • гибкость:Динамическое секционирование автоматически создает разделы на основе фактического содержимого данных.,Подходит для сценариев, где значения полей меняются и часто обновляются.,Обеспечьте точность информации о разделах.
  • Улучшите производительность:Динамическое секционирование можетсуществовать Во время вставки данных,Автоматически обрабатывать данные из разных разделов параллельно,Улучшите производительность и эффективность вставки.

Пример кода

Ниже приведен простой пример кода,Продемонстрировать, как использовать динамическое секционирование данные:

Язык кода:javascript
копировать
sqlCopy code
SET hive.exec.dynamic.partition=true;
SET hive.exec.dynamic.partition.mode=nonstrict;
-- Создать таблицу разделов
CREATE TABLE user_logs(
    user_id string,
    action_type string
)
PARTITIONED BY (date string);
-- Выполнить динамическую вставку раздела
INSERT INTO TABLE user_logs PARTITION (date)
SELECT user_id, action_type, SUBSTR(timestamp, 1, 10) AS date
FROM raw_user_logs;

Из приведенного выше введения мы узнали о Принципе работы Hive, Преимуществах и Примере кода. Мы надеемся, что это поможет вам лучше использовать динамическое секционирование в практических приложениях.

Заключение

С помощью описанных выше стратегий оптимизации мы можем повысить эффективность и производительность вставки больших объемов данных в Hive и ускорить процесс обработки данных. В реальных приложениях, в зависимости от размера данных и потребностей бизнеса, можно гибко выбрать подходящий метод оптимизации для достижения наилучшего эффекта обработки данных. Я надеюсь, что этот блог будет полезен всем при работе с вставкой больших данных Hive. Спасибо за чтение!

boy illustration
Углубленный анализ переполнения памяти CUDA: OutOfMemoryError: CUDA не хватает памяти. Попыталась выделить 3,21 Ги Б (GPU 0; всего 8,00 Ги Б).
boy illustration
[Решено] ошибка установки conda. Среда решения: не удалось выполнить первоначальное зависание. Повторная попытка с помощью файла (графическое руководство).
boy illustration
Прочитайте нейросетевую модель Трансформера в одной статье
boy illustration
.ART Теплые зимние предложения уже открыты
boy illustration
Сравнительная таблица описания кодов ошибок Amap
boy illustration
Уведомление о последних правилах Points Mall в декабре 2022 года.
boy illustration
Даже новички могут быстро приступить к работе с легким сервером приложений.
boy illustration
Взгляд на RSAC 2024|Защита конфиденциальности в эпоху больших моделей
boy illustration
Вы используете ИИ каждый день и до сих пор не знаете, как ИИ дает обратную связь? Одна статья для понимания реализации в коде Python общих функций потерь генеративных моделей + анализ принципов расчета.
boy illustration
Используйте (внутренний) почтовый ящик для образовательных учреждений, чтобы использовать Microsoft Family Bucket (1T дискового пространства на одном диске и версию Office 365 для образовательных учреждений)
boy illustration
Руководство по началу работы с оперативным проектом (7) Практическое сочетание оперативного письма — оперативного письма на основе интеллектуальной системы вопросов и ответов службы поддержки клиентов
boy illustration
[docker] Версия сервера «Чтение 3» — создайте свою собственную программу чтения веб-текста
boy illustration
Обзор Cloud-init и этапы создания в рамках PVE
boy illustration
Корпоративные пользователи используют пакет регистрационных ресурсов для регистрации ICP для веб-сайта и активации оплаты WeChat H5 (с кодом платежного узла версии API V3)
boy illustration
Подробное объяснение таких показателей производительности с высоким уровнем параллелизма, как QPS, TPS, RT и пропускная способность.
boy illustration
Удачи в конкурсе Python Essay Challenge, станьте первым, кто испытает новую функцию сообщества [Запускать блоки кода онлайн] и выиграйте множество изысканных подарков!
boy illustration
[Техническая посадка травы] Кровавая рвота и отделка позволяют вам необычным образом ощипывать гусиные перья! Не распространяйте информацию! ! !
boy illustration
[Официальное ограниченное по времени мероприятие] Сейчас ноябрь, напишите и получите приз
boy illustration
Прочтите это в одной статье: Учебник для няни по созданию сервера Huanshou Parlu на базе CVM-сервера.
boy illustration
Cloud Native | Что такое CRD (настраиваемые определения ресурсов) в K8s?
boy illustration
Как использовать Cloudflare CDN для настройки узла (CF самостоятельно выбирает IP) Гонконг, Китай/Азия узел/сводка и рекомендации внутреннего высокоскоростного IP-сегмента
boy illustration
Дополнительные правила вознаграждения амбассадоров акции в марте 2023 г.
boy illustration
Можно ли открыть частный сервер Phantom Beast Palu одним щелчком мыши? Супер простой урок для начинающих! (Прилагается метод обновления сервера)
boy illustration
[Играйте с Phantom Beast Palu] Обновите игровой сервер Phantom Beast Pallu одним щелчком мыши
boy illustration
Maotouhu делится: последний доступный внутри страны адрес склада исходного образа Docker 2024 года (обновлено 1 декабря)
boy illustration
Кодирование Base64 в MultipartFile
boy illustration
5 точек расширения SpringBoot, супер практично!
boy illustration
Глубокое понимание сопоставления индексов Elasticsearch.
boy illustration
15 рекомендуемых платформ разработки с нулевым кодом корпоративного уровня. Всегда найдется та, которая вам понравится.
boy illustration
Аннотация EasyExcel позволяет экспортировать с сохранением двух десятичных знаков.