Введение в Elasticsearch

1. Что такое Elasticsearch?

1. Elasticsearch с открытым исходным кодом

Elasticsearch с открытым исходным кодом — это распределенная система поиска и анализа в реальном времени, основанная на Lucene. Это продукт с открытым исходным кодом, который соответствует условиям открытого исходного кода Apache и является текущей основной поисковой системой корпоративного уровня. Будучи распределенной службой на основе RESTful API, Elasticsearch может быстро и практически в режиме реального времени хранить, запрашивать и анализировать большие наборы данных. Обычно он используется в качестве базового механизма или технологии для создания сложных функций запросов и приложений с высокими требованиями.

2. Алибаба Эластичный поиск

Alibaba Elasticsearch — это полностью управляемый облачный сервис Elasticsearch, созданный на основе Elasticsearch с открытым исходным кодом. Он на 100% совместим с функциями с открытым исходным кодом, но поддерживает готовые к использованию услуги и услуги с оплатой по мере использования. Он не только предоставляет готовые экологические компоненты Elastic Stack, включая Elasticsearch, Logstash, Kibana и Beats, в облаке, но также сотрудничает с официальными лицами Elastic для предоставления бесплатного коммерческого плагина X-Pack (расширенные функции Platinum Edition). -in, которые объединяют безопасность, SQL и машинное обучение. Расширенные функции, такие как обучение, оповещение и мониторинг, широко используются в таких сценариях, как анализ и обработка журналов в реальном времени, поиск информации, а также многомерные запросы и статистический анализ данных. .

3. Введение в Alibaba Elasticsearch

• Alibaba Elasticsearch стремится создать недорогое облачное решение Elasticsearch на основе сценариев, основанное на экосистеме с открытым исходным кодом. Оно основано на открытом исходном коде, но не ограничивается открытым исходным кодом.
• Пользователи могут использовать мощные возможности анализа и поиска Alibaba Cloud Elasticsearch, а также услуги с высоким уровнем безопасности, высокой производительности и высокой доступности, чтобы упростить развертывание и управление кластером, сократить ресурсы кластера, а также затраты на эксплуатацию и обслуживание, повысить безопасность и надежность данных. и открыть восходящие и нисходящие каналы передачи данных, оптимизировать эффекты чтения и записи и т. д.
• Основываясь на возможностях супервычислений и хранения в облаке, а также на техническом опыте, накопленном в области безопасности, эксплуатации и обслуживания кластеров, Alibaba Cloud Elasticsearch не только поддерживает развертывание кластера одним щелчком мыши, эластичное масштабирование, интеллектуальную эксплуатацию и обслуживание, а также различные ядра. оптимизация ядра, но также предоставляет комплексные решения для миграции, аварийного восстановления, резервного копирования и мониторинга.
• На основе этих оптимизаций пользователи могут быстро создавать различные бизнес-приложения, такие как анализ журналов, мониторинг исключений, корпоративный поиск и анализ больших данных, концентрируясь на самих бизнес-приложениях и осознавая ценность для бизнеса.

4. Резюме

1. Alibaba Elasticsearch — это платформа облачных сервисов, основанная на Elasticsearch с открытым исходным кодом.
2. Alibaba Elasticsearch готов к использованию «из коробки», взимает плату по требованию, предоставляет различные экологические компоненты и проводит множество оптимизаций, что делает его очень мощным.
3. Пользователи могут использовать различные бизнес-приложения, такие как анализ журналов Alibaba Elasticsearch, мониторинг исключений, корпоративный поиск и анализ больших данных.

2. Компонент Alibaba Elasticsearch

В рамках продуктовой экосистемы Elastic Stack от Alibaba Elasticsearch служит механизмом распределенного поиска и анализа в реальном времени, Kibana реализует гибкий визуальный анализ, Beats собирает данные с различных машин и систем, а Logstash собирает, преобразует, оптимизирует и выводит данные. Благодаря сочетанию различных компонентов Alibaba Elasticsearch может широко использоваться в таких областях, как обработка журналов в реальном времени, полнотекстовый поиск и анализ данных.

1. X-Pack (пакет расширения коммерческой версии)

• X-Pack — это коммерческий пакет расширений для Elasticsearch, который включает в себя множество расширенных функций, таких как безопасность, оповещения, мониторинг, графики и отчеты, а также машинное обучение.
• При создании кластера Alibaba Elasticsearch система по умолчанию интегрирует X-Pack в качестве плагина в Kibana, обеспечивая бесплатную аутентификацию авторизации, контроль разрешений ролей, мониторинг в реальном времени, визуальные отчеты, машинное обучение и другие возможности для достижения более удобного использования. Управление операциями Elasticsearch и разработка приложений.

2. Beats (центр сбора данных)

• Beats — это легкий инструмент для сбора данных, который объединяет множество одноцелевых сборщиков данных. Они отправляют данные в Logstash или Elasticsearch с сотен или тысяч машин и систем.
• Центр сбора данных Beats Alibaba Elasticsearch поддерживает Filebeat, Metricbeat, Auditbeat и Heartbeat. Он поддерживает развертывание сборщиков одним щелчком мыши в облачных серверах ECS и кластерах ACK контейнерных служб, визуально собирает и настраивает файлы журналов, сетевые данные, индикаторы контейнеров и другие типы данных, а также централизованно управляет несколькими сборщиками.

3. Logstash (конвейер обработки данных)

• Являясь конвейером обработки данных на стороне сервера, Logstash динамически собирает данные из нескольких источников с помощью плагинов ввода, фильтрации и вывода, обрабатывает и преобразует события любого типа и, наконец, сохраняет данные в выбранном месте.
• Alibaba предоставляет полностью управляемый сервис Logstash, который на 100% совместим с открытым исходным кодом. Он поддерживает развертывание одним щелчком мыши, визуальную настройку и централизованное управление конвейерами данных, а также предоставляет множество плагинов для подключения к облачным продуктам, таким как OSS и MaxCompute.

4. Kibana (инструмент анализа и визуализации данных)

• Kibana — это гибкий инструмент анализа и визуализации данных, который поддерживает вход нескольких пользователей. В Kibana пользователи могут искать, просматривать и взаимодействовать с данными в индексе Elasticsearch.
• При создании кластера Alibaba Elasticsearch система автоматически развернет независимые узлы Kibana. Пользователи могут гибко использовать диаграммы, таблицы, карты и т. д. в соответствии с потребностями бизнеса для представления разнообразных отчетов по анализу данных и информационных панелей.

3. Услуги, связанные с Alibaba Elasticsearch

1. Ядро AliES и плагины

Благодаря полной совместимости со всеми функциями ядра Elasticsearch с открытым исходным кодом Ali Elasticsearch глубоко настроил движок ядра AliES во многих аспектах, таких как диверсификация индикаторов мониторинга, пул потоков, оптимизация стратегии автоматического выключателя, оптимизация производительности запросов и записи и т. д. . В то же время предоставляются различные плагины собственной разработки для повышения стабильности кластера, повышения производительности, оптимизации затрат и расширения функций мониторинга, эксплуатации и обслуживания.

2. Интеллектуальная система эксплуатации и обслуживания Eyou.

Интеллектуальная система эксплуатации и обслуживания Alibaba Elasticsearch Eyou предоставляет функции определения работоспособности более чем 20 диагностических элементов, таких как кластеры, узлы и индексы. Он может наблюдать и записывать рабочее состояние кластера и автоматически суммировать результаты диагностики кластера. В то же время оно помогает пользователям обнаруживать потенциальные риски в кластере и быстро предоставляет ключевую информацию и разумные предложения по оптимизации в случае неисправности кластера, что делает эксплуатацию и обслуживание кластера более удобными.

3. Расширенные услуги мониторинга и сигнализации.

Расширенная служба мониторинга и оповещения разработана на основе Elasticsearch. Это служба SAAS с множеством возможностей, таких как сбор, мониторинг, оповещение, диагностика и обработка данных. Она предоставляет пользователям облака готовый комплексный подход. решение для мониторинга и сигнализации. Благодаря расширенной службе мониторинга и сигнализации пользователи могут гибко настраивать большие экраны мониторинга Grafana, настраивать правила сигнализации и использовать стабильные и надежные службы сигнализации.

4. Сценарии применения

1. Анализ журналов

В сложных бизнес-сценариях большое количество серверов, физических машин, Docker-контейнеров, мобильных устройств, датчиков IoT и другого оборудования часто содержат различные индикаторы, журналы и данные APM с рассредоточенной структурой, различными типами и большими масштабами. Аномальное расположение проблем, бизнес-анализ. а эксплуатация и техническое обслуживание создают огромные проблемы. Пользователям часто бывает трудно извлечь выгоду из сложных журналов, но им приходится нести высокие затраты на хранение.

• Alibaba Elasticsearch может быстро подключаться к различным общим источникам данных с помощью таких компонентов, как Beats и Logstash, обеспечивая эластичный и масштабируемый централизованный сбор и готовые возможности анализа хранилища.
• А с помощью информационной панели Kibana мы можем эффективно построить информационную панель для визуализации данных и обслуживания, а также гибко настраивать имя хоста, IP-адрес, статус развертывания, цвет отображения и другую информацию на информационной панели.
• В конечном итоге это помогает пользователям быстро находить и обнаруживать проблемы в больших объемах данных и повышает эффективность решения проблем, тем самым извлекая пользу из данных журналов.

2. Поиск информации

Каждый пользователь, живущий в мобильном Интернете, ежедневно запрашивает различную информацию. Например, проверьте счета по кредитным картам, электронные счета, близлежащие рестораны и отели, консультации со СМИ, заказы на покупки, транспортную логистику и т. д. Чтобы помочь пользователям эффективно получать информацию, предприятиям необходимо внедрить службы поиска информации для больших объемов данных.

• По сравнению с традиционными реляционными базами данных Elasticsearch обладает мощными возможностями полнотекстового поиска и предоставляет простые в использовании API-интерфейсы RESTful и клиенты на разных языках.
• Поиск совпадающей информации в петабайтах структурированных и неструктурированных данных занимает всего миллисекунды.
• Пользователи могут использовать высокую доступность и простоту использования Alibaba Elasticsearch для реализации сложных комбинаций, условий и нечетких запросов, а также легко выполнять высокопроизводительное чтение и запись различных типов текста, чисел, дат, географических IP-данных и даже изображений. , аудио и видео данные.
• Это позволяет нам быстро создавать службы поиска, такие как поиск продуктов или заказов электронной коммерции, поиск приложений и корпоративные CRM-системы, и интегрировать их в существующие бизнес-структуры.

3. Аналитика данных

В связи с быстрым развитием различных отраслей, таких как игры, образование и розничная торговля, в дополнение к данным индикаторов журнала базовой системы часто имеются крупномасштабные бизнес-данные, такие как поведение пользователей, траектории движения, записи транзакций и т. д. В отраслевом контексте операций, управляемых данными, только посредством углубленного статистического анализа и анализа бизнес-данных, выявления проблем и возможностей для предприятий высшего уровня и оказания помощи в принятии бизнес-решений данные могут действительно создавать ценность.

• Alibaba Elasticsearch имеет возможности структурированных запросов и поддерживает сложную фильтрацию и агрегирование статистики.
• Он не только может быстро и эффективно анализировать различные данные, такие как поведение пользователей, атрибуты, теги и т. д., но также может обеспечить точный доступ к целевым группам.
• Kibana также можно использовать для статистической классификации бизнес-данных и построения рынка, чтобы эффективно подсчитывать и анализировать большие объемы данных в различных сценариях, таких как электронная коммерция, мобильные приложения и рекламные носители, а также глубоко изучать данные. ценность бизнеса.