Я только что обнаружил потрясающую функцию Hive для анализа массивов Json и хочу поделиться ею с вами~
Я только что обнаружил потрясающую функцию Hive для анализа массивов Json и хочу поделиться ею с вами~

фон

На этапе передачи больших данных в процессе ETL (извлечение-передача-загрузка) данные строки json необходимо преобразовать и «сгладить».

Персональный тест! Супер простой в использовании Hive встроенный json аналитическая функция Подробное введение в статье get_json_object и json_tuple Как работает функция json Строку можно эффективно проанализировать, но единственным недостатком является то, что ни одна функция не может ее проанализировать. json Массив, может анализировать только один json нить.

Сегодняшний обмен познакомит вас Hive Обычно используется в json множествоаналитическая функцияи подробные инструкции по использованию。

Разбор массива json: требование 1

Подготовка данных

Например: в Hive есть таблица test_json. Содержимое поля json_data в таблице следующее:

json_data

[{"user_id":"1","name":"Сяо Линь","age":16},{"user_id":"2","name":"Сяо Лю","age":18} ,{"user_id":"3","name":"Сяо Мин","возраст":20}]

На основе приведенных выше данных json_data теперь необходимо проанализировать приведенные выше строковые данные json и получить следующие структурные данные:

user_id

name

age

1

Сяолинь

16

2

Сяо Лю

18

3

Сяо Мин

20

Прежде чем анализировать, давайте сначала поймем, как использовать следующие две функции.

Применение функции
1. функция взрыва

грамматика

Язык кода:javascript
копировать
explode(Array|Map)

иллюстрировать

Функция взорвать() получает на вход данные типа массива или карты, а затем выводит элементы массива или карты в виде каждой строки.

То есть разделение сложного массива или структуры карты в одном столбце Hive на несколько строк для отображения, также известное как функция «столбец-строка».

Пример

SQL-запрос для проверки массива:

Язык кода:javascript
копировать
select explode(array('user_id','name','age'));

Результат выполнения:

SQL-запрос для проверки карты:

Язык кода:javascript
копировать
select explode(map('user_id',1,'name','rocky','age',18));

Результат выполнения:

2. функция regexp_replace

грамматика

Язык кода:javascript
копировать
regexp_replace(str A, str B, str C)

иллюстрировать

грамматиказначение:преобразовать строку A Сопоставление регулярных выражений в B Замените деталь на C。

Примечание. Если в строке A есть специальные символы, в регулярном выражении B необходимо использовать escape-символы.

Пример

SQL-заявление:

Язык кода:javascript
копировать
select regexp_replace('hello world!', '\\ |\\!', '');

Результат выполнения:

3. специфический Применение функции

учиться explode функция с regexp_replace После правил использования функций, теперь завершим вышеизложенную подготовку. проанализировать требование, представленное в данных.

Первый шаг анализа: разбить массив json на несколько строк

SQL-заявление:

Язык кода:javascript
копировать
SELECT explode(split(
     regexp_replace(
         regexp_replace(
            '[
                {"user_id":"1","name":"Сяолинь","age":16},
                {"user_id":"2","name":"Сяо Лю","age":18},
                {"user_id":"3","name":"Сяо Мин","age":20}
            ]', 
            '\\[|\\]' , ''), Удалите квадратные скобки с обеих сторон массива json.
            
              '\\}\\,\\{' , '\\}\\;\\{'), Замените запятые между элементами массива json точками с запятой.
                
                 '\\;') Используйте точку с запятой в качестве разделителя (функция разделения использует точку с запятой в качестве разделителя)
          ); 

Результат выполнения:

Второй этап анализа: ключ массива JSON в поле столбца

SQL-заявление:

Язык кода:javascript
копировать
select json_tuple(json, 'user_id', 'name', 'age') 
 from (select explode(split(
     regexp_replace(
      regexp_replace(
       '[
        {"user_id":"1","name":"Сяолинь","age":16},
        {"user_id":"2","name":"Сяо Лю","age":18},
        {"user_id":"3","name":"Сяо Мин","age":20}
       ]',
       '\\[|\\]' , ''), 
        '\\}\\,\\{' , '\\}\\;\\{'), 
          '\\;') 
     )as json) tmp;

Результат выполнения:

Разбор массива json: требование 2

Подготовка данных

Например:

В Улье есть один data_json стол, стол goods_id и str_data Содержимое полей следующее:

goods_id

str_data

5,7,9

[{"source":"taobao","sold":100,"remain":1000},{"source":"jd","sold":200,"remain":2000},{"source":"meituan","sold":300,"remain":3000}]

На основании вышеизложенного goods_id и str_data данные, теперь необходимо преобразовать приведенные выше json Строковые данные анализируются в следующие структурированные данные:

goods_id

sold

5

100

5

200

5

300

7

100

7

200

7

300

9

100

9

200

9

300

Прежде чем анализировать, давайте сначала поймем, как использовать следующие две функции.

Применение функции
1. функция бокового обзора

иллюстрировать

lateral view Используется для split, explode ждать UDTF При совместном использовании он может разделить столбец данных на несколько строк данных, по которым разделенные данные могут быть агрегированы.

Латеральный просмотр сначала вызывает UDTF для каждой строки исходной таблицы. Латеральный просмотр объединяет результаты для создания виртуальной таблицы, поддерживающей таблицы псевдонимов.

Пример

Например:Hive Один из них page_ads Таблица, структура данных таблицы следующая:

page_name

ads_id

home_page

[1,2,3]

front_page

[2,6]

page_name представляет имя страницы,ads_id представляет собой идентификатор рекламы, а несколько идентификаторов разделяются запятыми.

Требование: подсчитайте, сколько раз все рекламные идентификаторы появляются на всех страницах.

Первый этап анализа: разделение рекламного идентификатора

РасколотьSQL-заявление:

Язык кода:javascript
копировать
SELECT page_name, ads_id 
    FROM page_ads LATERAL VIEW explode(ads_id) adTable AS adid;

Результаты разделения:

page_name

ads_id

home_page

1

home_page

2

home_page

3

front_page

2

front_page

6

Второй этап анализа: агрегированная статистика

Агрегированная статистика SQL-заявления:

Язык кода:javascript
копировать
SELECT adid, count(1) 
    FROM page_ads LATERAL VIEW explode(ads_id) adTable AS adid
GROUP BY adid;

Статистические результаты:

adid

count(1)

1

1

2

2

3

1

6

1

2. специфический Применение функции

Инструкция sql для анализа таблицы data_json выглядит следующим образом:

Язык кода:javascript
копировать
select goods_id,get_json_object(sale_json,'$.sold') as sold
from data_json 
  LATERAL VIEW explode(split(goods_id,','))goods as goods_id 
  LATERAL VIEW explode(split(
         regexp_replace(
           regexp_replace(json_str , '\\[|\\]',''),'\\}\\,\\{','\\}\\;\\{'),'\\;')) sales as sale_json;

Уведомление:

Приведенное выше утверждение является результатом декартова произведения 3*3, поэтому этот метод подходит для ситуаций, когда объем данных не очень велик.

Результаты выполнения следующие:

goods_id

sold

5

100

5

200

5

300

7

100

7

200

7

300

9

100

9

200

9

300

boy illustration
Углубленный анализ переполнения памяти CUDA: OutOfMemoryError: CUDA не хватает памяти. Попыталась выделить 3,21 Ги Б (GPU 0; всего 8,00 Ги Б).
boy illustration
[Решено] ошибка установки conda. Среда решения: не удалось выполнить первоначальное зависание. Повторная попытка с помощью файла (графическое руководство).
boy illustration
Прочитайте нейросетевую модель Трансформера в одной статье
boy illustration
.ART Теплые зимние предложения уже открыты
boy illustration
Сравнительная таблица описания кодов ошибок Amap
boy illustration
Уведомление о последних правилах Points Mall в декабре 2022 года.
boy illustration
Даже новички могут быстро приступить к работе с легким сервером приложений.
boy illustration
Взгляд на RSAC 2024|Защита конфиденциальности в эпоху больших моделей
boy illustration
Вы используете ИИ каждый день и до сих пор не знаете, как ИИ дает обратную связь? Одна статья для понимания реализации в коде Python общих функций потерь генеративных моделей + анализ принципов расчета.
boy illustration
Используйте (внутренний) почтовый ящик для образовательных учреждений, чтобы использовать Microsoft Family Bucket (1T дискового пространства на одном диске и версию Office 365 для образовательных учреждений)
boy illustration
Руководство по началу работы с оперативным проектом (7) Практическое сочетание оперативного письма — оперативного письма на основе интеллектуальной системы вопросов и ответов службы поддержки клиентов
boy illustration
[docker] Версия сервера «Чтение 3» — создайте свою собственную программу чтения веб-текста
boy illustration
Обзор Cloud-init и этапы создания в рамках PVE
boy illustration
Корпоративные пользователи используют пакет регистрационных ресурсов для регистрации ICP для веб-сайта и активации оплаты WeChat H5 (с кодом платежного узла версии API V3)
boy illustration
Подробное объяснение таких показателей производительности с высоким уровнем параллелизма, как QPS, TPS, RT и пропускная способность.
boy illustration
Удачи в конкурсе Python Essay Challenge, станьте первым, кто испытает новую функцию сообщества [Запускать блоки кода онлайн] и выиграйте множество изысканных подарков!
boy illustration
[Техническая посадка травы] Кровавая рвота и отделка позволяют вам необычным образом ощипывать гусиные перья! Не распространяйте информацию! ! !
boy illustration
[Официальное ограниченное по времени мероприятие] Сейчас ноябрь, напишите и получите приз
boy illustration
Прочтите это в одной статье: Учебник для няни по созданию сервера Huanshou Parlu на базе CVM-сервера.
boy illustration
Cloud Native | Что такое CRD (настраиваемые определения ресурсов) в K8s?
boy illustration
Как использовать Cloudflare CDN для настройки узла (CF самостоятельно выбирает IP) Гонконг, Китай/Азия узел/сводка и рекомендации внутреннего высокоскоростного IP-сегмента
boy illustration
Дополнительные правила вознаграждения амбассадоров акции в марте 2023 г.
boy illustration
Можно ли открыть частный сервер Phantom Beast Palu одним щелчком мыши? Супер простой урок для начинающих! (Прилагается метод обновления сервера)
boy illustration
[Играйте с Phantom Beast Palu] Обновите игровой сервер Phantom Beast Pallu одним щелчком мыши
boy illustration
Maotouhu делится: последний доступный внутри страны адрес склада исходного образа Docker 2024 года (обновлено 1 декабря)
boy illustration
Кодирование Base64 в MultipartFile
boy illustration
5 точек расширения SpringBoot, супер практично!
boy illustration
Глубокое понимание сопоставления индексов Elasticsearch.
boy illustration
15 рекомендуемых платформ разработки с нулевым кодом корпоративного уровня. Всегда найдется та, которая вам понравится.
boy illustration
Аннотация EasyExcel позволяет экспортировать с сохранением двух десятичных знаков.