Предисловие

Elasticsearch — это распределенная система поиска и анализа с открытым исходным кодом, созданная на основе Apache Lucene. Он предоставляет масштабируемую платформу поиска и аналитики в режиме реального времени для обработки и анализа крупномасштабных структурированных и неструктурированных данных. Он имеет большие преимущества при чтении и написании в реальном времени, а также при полнотекстовом поиске.

Hive — это инструмент хранилища данных на базе Hadoop, который предоставляет SQL-подобный язык запросов (HiveQL) для анализа данных и выполнения запросов. Hive предназначен для того, чтобы предоставить пользователям, знакомым с SQL, простой способ обработки крупномасштабных структурированных и полуструктурированных данных.

elasticsearch SQL

Elasticsearch упрощает пользователям запрос данных, поэтому он предоставляет функцию SQL-запроса. Его суть заключается в синтаксическом анализе операторов SQL в операторы DSL для выполнения и возврата результатов. API elasticsearch SQL поддерживает только простые функции, такие как группировка, подсчет, упорядочивание, наличие и ограничение. Если нам нужно использовать сложную логику SQL для запроса данных, мы не сможем получить хорошую поддержку.

внешний стол

Hive предоставляет внешний вид столфункция,Внешний стол необходимо связать только с существующими данными в месте хранения данных.,Нет необходимости перемещать данные в репозиторий Hive для хранения.,Вы можете использовать внешние источники данных.

создаватьвнешний стол просто используйте при создании таблицы `EXTERNAL` Ключевое слово определяет тип таблицы. В следующем примере: мы указываем место хранения внешних данных в параметре «LOCATION». Улей внешний будет заполнен с использованием данных из этого места. стол。

CREATE EXTERNAL TABLE my_external_table (
  column1 INT,
  column2 STRING
)
LOCATION '/path/to/external/data';

elasticsearchвнешний стол

С помощью мощных и полных возможностей Hive, подобных SQL, мы можем запрашивать данные кластера elasticsearch, создав внешний стол elasticsearch в Hive. Это значительно снижает порог запроса для данных эластичного поиска.

Создайте его следующим образом:

CREATE EXTERNAL TABLE IF NOT EXISTS ods.hive_elastic_table_test ( user_id string,
country string,
province string,
city string,
gender int
)
STORED BY 'org.elasticsearch.hadoop.hive.EsStorageHandler' TBLPROPERTIES(
'es.index.auto.create'='false', 'es.index.read.missing.as.empty'='true', 'es.nodes.wan.only'='true', 'es.nodes.discovery' = 'false',
'es.nodes' = 'IP',
'es.port' = '9200',
'es.read.metadata'='true',
'es.resource' = 'es_index/_doc',
'es.mapping.names' = 'user_id:user_id, country:country, province:province, gender:gender', 'es.net.http.auth.pass'= '',
'es.net.http.auth.user'= 'elastic-reader' )
;

INSERT OVERWRITE TABLE hive_elastic_table_test
SELECT a.user_id, a.country, a.province, a.city, a.gender FROM (
SELECT user_id
,country
,province
,city
,gender
FROM hs_user
) a;

В процессе создания может возникнуть следующая ошибка:

Error: java.lang.RuntimeException: java.lang.NoClassDefFoundError: org/apache/commons/httpclient/HttpConnection Manager
at org.apache.hadoop.hive.ql.exec.mr.ExecMapper.map(ExecMapper.java:157) at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:54)
at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:453)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:343)
at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:175)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1844) at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:169)
Caused by: java.lang.NoClassDefFoundError: org/apache/commons/httpclient/HttpConnectionManager
at org.elasticsearch.hadoop.rest.commonshttp.CommonsHttpTransportFactory.create(CommonsHttpTransportFac
tory.java:40)
at org.elasticsearch.hadoop.rest.NetworkClient.selectNextNode(NetworkClient.java:99)
at org.elasticsearch.hadoop.rest.NetworkClient.<init>(NetworkClient.java:82)
at org.elasticsearch.hadoop.rest.NetworkClient.<init>(NetworkClient.java:58)
at org.elasticsearch.hadoop.rest.RestClient.<init>(RestClient.java:101)
at org.elasticsearch.hadoop.rest.RestService.createWriter(RestService.java:620)
at org.elasticsearch.hadoop.mr.EsOutputFormat$EsRecordWriter.init(EsOutputFormat.java:175)
at org.elasticsearch.hadoop.hive.EsHiveOutputFormat$EsHiveRecordWriter.write(EsHiveOutputFormat.java:59) at org.apache.hadoop.hive.ql.exec.FileSinkOperator.process(FileSinkOperator.java:762)
at org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:897)
at org.apache.hadoop.hive.ql.exec.SelectOperator.process(SelectOperator.java:95)
at org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:897)
at org.apache.hadoop.hive.ql.exec.TableScanOperator.process(TableScanOperator.java:130)
at org.apache.hadoop.hive.ql.exec.MapOperator$MapOpCtx.forward(MapOperator.java:148)
at org.apache.hadoop.hive.ql.exec.MapOperator.process(MapOperator.java:547)
at org.apache.hadoop.hive.ql.exec.mr.ExecMapper.map(ExecMapper.java:148)
... 8 more
Caused by: java.lang.ClassNotFoundException: org.apache.commons.httpclient.HttpConnectionManager
at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
at java.lang.ClassLoader.loadClass(ClassLoader.java:418)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:352) at java.lang.ClassLoader.loadClass(ClassLoader.java:351)
... 24 more
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

Решение

cp hadoop/share/hadoop/tools/lib/commons-httpclient-3.1.jar hive/auxlib/ 

Преимущества elasticsearchвнешний стол

1. Единый интерфейс запросов. Hive предоставляет унифицированный интерфейс запросов SQL, позволяющий использовать стандартные операторы SQL для запроса данных Elasticsearch. Нет необходимости изучать синтаксис запросов elasticsearch. Вы можете напрямую использовать знакомый SQL для анализа данных и запросов.

2. Эластичное масштабирование: создание эластичного поискавнешнего через Hive стол, вы можете использовать elasticsearch Данные можно запрашивать совместно с другими источниками данных. Это упрощает выполнение анализа между источниками данных и операций агрегирования в Hive для достижения более сложных требований к обработке данных.

3. Преобразование формата данных: Hive поддерживает преобразование формата данных и может конвертировать данные в Elasticsearch в другие форматы, такие как Parquet, ORC и т. д. Это может повысить эффективность хранения данных и производительность запросов.

4. Интеграция хранилища данных. Hive — это широко используемый инструмент хранилища данных, который можно интегрировать с другими компонентами хранилища данных (такими как Hadoop, Spark и т. д.). Интегрируя данные elasticsearch с другими источниками данных в Hive, вы сможете лучше управлять и организовывать свои данные, а также выполнять более сложную обработку и анализ данных.

5. Контроль безопасности и разрешений: Hive Обеспечивает гибкие механизмы контроля безопасности и разрешений для внешнего поиска elasticsearch. стол осуществляет контроль доступа и обеспечивает безопасность данных.

Что следует отметить:HiveНекоторые расширенные функции в（Такие как дела、сложные типы данных и т. д.) могут быть не полностью совместимы с elasticsearch. Согласованностью данных и режимом реального времени также необходимо управлять в соответствии с конкретными стратегиями синхронизации данных.

я участвуюНа третьем этапе специального тренировочного лагеря Tencent Technology Creation 2023 года будет проводиться конкурс сочинений. Соберите команду, чтобы выиграть приз!