Предисловие

как мы все знаем,Elasticsearch — это система поиска и анализа в реальном времени с открытым исходным кодом, основанная на библиотеке Lucene.,Он не только индексирует документы в больших масштабах, но и позволяет внешнему миру искать эти документы.,И может очень быстро анализировать и работать с этими документами.。особенно вбольшие Совместные операции хранения, поиска и анализа в области данных и Elasticsearch могут быть интегрированы с Hadoop. Хотя Elasticsearch построен на основе Lucene, области его применения очень широки. Не будем пока упоминать другие направления. поделиться Как работает Принцип Elasticsearch и общий процесс создания поисковой системы с помощью Elasticsearch.

Что такое Elasticsearch?

Elasticsearch также называют ES.,По сути, это система поиска и анализа в реальном времени.,Он может хранить, извлекать и анализировать данные практически в реальном времени. ES — это масштабируемая распределенная полнотекстовая поисковая система, основанная на открытом исходном коде.,Он очень масштабируем сам по себе.,Может масштабироваться для обработки петабайт данных. ES основан на Lucene в качестве ядра для реализации всех функций поиска и индексирования.,Причина этого в том, что простоRESTful APIспрятатьLuceneсложность,Это делает полнотекстовый поиск простой операцией.

Lucene

Представляем как работает Прежде чем рассказать о принципах Elasticsearch, давайте узнаем больше о Lucene. Lucene также является проектом с открытым исходным кодом, разработанным Дугом CuttingРазработано на основеФонд программного обеспечения Apache4 jakartaПодпроект команды проекта。LuceneЭто набор инструментов для полнотекстовой поисковой системы.,Это просто архитектура полнотекстовой поисковой системы.,В основном обеспечивает полный запрос и поисковую систему,и некоторые механизмы анализа текста,Но это не полноценная полнотекстовая поисковая система. Очень популярный в последние годы,особенно вJavaВариант осуществления в библиотеке программ информационного поиска。LuceneиElasticsearchОтношения можно понимать как：ElasticSearchоснован наLucene Произведена дальнейшая инкапсуляция и улучшение.

Как работает Elasticsearch

Как было сказано выше, ядро ​​Elasticsearch основано на библиотеке Lucene. Lucene — это набор инструментов полнотекстовой поисковой системы, основанный на движке Java, для оптимизации хранения документов. Он может эффективно искать и анализировать текстовые элементы, соответствующие условиям поиска, в режиме реального времени. . Я решил использовать Elasticsearch не только потому, что он предоставляет движок Lucene нижнего уровня и лаконичный REST API, но также имеет очень хорошую масштабируемость и поддерживает интеграцию плагинов и других технологий. Прежде чем использовать Elasticsearch, вам необходимо понять три его основных содержания: индекс, сегментирование и тип.

1. Индекс

В Elasticsearch индекс представляет собой набор документов со схожими характеристиками. Например, он может состоять из индекса пользовательских данных, индекса категории продуктов или даже индекса информации о заказе. Индекс выделяется и идентифицируется по имени (правила именования: все должны быть строчными английскими буквами), и когда вам нужно искать, индексировать, обновлять и т. д. документы в этом индексе, вы будете действовать на основе этого имени.

Примечание. В кластере пользователи могут создавать любое количество индексов.

2. Шардинг

Шардинг на самом деле представляет собой индекс, который может хранить большой объем данных, превышающий аппаратный предел одного узла. Например, в индексе с 10 миллиардами документов, занимающих 10 ТБ дискового пространства, и на каком-либо одном узле может не хватить дискового пространства для хранения, или один узел может быть слишком медленным для обработки поисковых запросов, используя Elasticsearch для разделения индексируются на несколько сегментов, эти фрагменты называются шардами. При создании индекса пользователь может указать желаемое количество шардов. Каждый шард сам по себе является полнофункциональным и независимым индексом, и индекс можно разместить на любом узле кластера.

3. Введите

Тип — это фактически один или несколько типов, которые пользователи могут определить в индексе. Тип — это логический раздел или классификация индекса. Его семантика полностью определяется пользователем. Обычно он присваивается документам с одинаковым набором. поля определены как тип. Например, запустите сообщество технического блога и сохраните все данные блога в индексе. В этом индексе вы можете определить тип данных пользователей блога, другой тип данных блога, а также тип данных комментариев к статьям. третий тип, эти операции можно выполнять нормально.

Пример

Вот простой пример использования Elasticsearch. Как упоминалось выше, Elasticsearch предоставляет очень простой REST API. Пользователи могут писать документы в Elasticsearch, он автоматически создает индекс, а затем использует операторы запроса для добавления возврата этих документов. Elasticsearch на самом деле предоставляет функцию запросов SQL, но у нее есть большие ограничения, поэтому сложную агрегацию запросов необходимо возвращать в DSL, но синтаксис DSL относительно сложен, как показано ниже:

GET /_search
{
"query": {
"bool": {
"must" [
{"match": { "title": "Search"}},
{"match": { "content": "Elasticsearch"}},
]
}
}
}

Давайте проведем более сложную демонстрацию результатов запроса, как показано ниже:

GET /_search
{
"_shard": {
"success": 4,
"total":5,
"failed":1
},
"query": {
"bool": {
"must" : [
{"match": { "title": "Search"}},
{"match": { "content": "Elasticsearch"}},
],
"filter" : [
{"team": { "status": "publish"}},
{"range": { "publish_time": {"gt" : "2023-02-14"}}},
]
}
}
}

Результаты приведенного выше запроса относительно просты.,В реальной разработке есть более сложные запросы.,Особенно, если данные вложены на нескольких уровнях.,Результаты здесь не будут продемонстрированы. Потому что есть еще много вещей, которые не были представлены в этой статье.,Или технология поиска, которую пользователи еще не использовали.,Вы можете найти его в официальной документации Elasticsearch.,Я не буду здесь вдаваться в подробности.

Tips

1. На самом деле у официального Elastic есть много качественных сообщений в блоге, но большинство разработчиков игнорируют их, потому что они на английском языке. На самом деле они не могут этого сделать, потому что в этих официальных статьях Elastic есть множество ключевых процессов и принципов реализации с картинками и текстами. . Она на английском языке, но если вы внимательно прочтете ее, вы обнаружите, что текст отличный, поэтому как пользователь вы должны преодолеть барьеры английского языка и внимательно прочитать эти статьи.

2. Кроме того, облачный продукт Elasticsearch Service, предоставляемый Tencent Cloud, представляет собой полностью управляемый облачный сервис ELK, основанный на движке с открытым исходным кодом. Он объединяет функции X-Pack, уникальное высокопроизводительное ядро ​​собственной разработки и QQ word. сегментация и патрулирование кластера. Благодаря таким выгодным возможностям, как проверка и обновление в один клик, внедрение сервера Xinghai собственной разработки Tencent, который является чрезвычайно экономичным, может помочь пользователям легко управлять кластерами и эффективно выполнять анализ журналов. мониторинг эксплуатации и технического обслуживания, поиск информации, анализ данных и другие услуги. Поэтому сервис Elasticsearch от Tencent Cloud стоит попробовать, изучить и использовать.

3. Elasticsearch на самом деле разработан на основе других продуктов. Он основан на многих лучших дизайнерских идеях и объединяет множество алгоритмов. Хотя в официальных документах технические принципы не обсуждаются подробно, они, по сути, просто попадают в цель. учиться глубже, они должны углубляться по другим каналам.

Расширение: интеграция Hadoop

наконец Давайте узнаем больше о преимуществах интеграции Hadoop,Самым большим преимуществом интеграции Hadoop является то, что Elasticsearch упрощает хранение данных и выполнение запросов за счет создания Elasticsearch-Hadoop.,В основном путем сопоставления входных данных, разделенных Hadoop.,Разделение Spark на сегменты ES для решения проблем модели распределенных данных,Потому что это может сократить операции копирования данных,Значительно улучшить производительность,И данные могут находиться на одной машине,Это потому, что Elasticsearch-Hadoop обеспечивает совместимость данных с Hadoop и Spark.,Это предотвращает ненужные операции передачи данных по сети.

приложение

ElasticsearchОфициальный сайт：https://www.elastic.co/cn/downloads/elasticsearch

наконец

Благодаря краткому введению в этой статье об использовании Elasticsearch для создания поисковой системы читатели наверняка что-то получат. С момента своего рождения он использовался все шире и шире, особенно в области больших данных, а его функции становились все более мощными. Elasticsearch очень рано стал известен, а стек технологий имеет множество функций и сейчас очень полон. В принципе, все виды обучения. Есть все материалы, но если вы хотите учиться систематически, вам нужно больше практиковаться, потому что оставаться в теории можно только упражнениями на бумаге. Поэтому вам нужно использовать теоретические знания для систематического развития. мышление и сочетайте его с реальной практикой для улучшения практических способностей. Только благодаря двустороннему подходу вы сможете по-настоящему освоить использование Elasticsearch. Поскольку Elasticsearch используется во все большем количестве практических сценариев и демонстрирует тенденцию резкого роста, Elasticsearch будет становиться все более и более популярным. Давайте с нетерпением ждем новых технологических изменений, которые принесет Elasticsearch!