Предисловие: После завершения установки и настройки нашего кластера Elasticsearch, экземпляра Logstash, экземпляра Filebeat и экземпляра Kibana нам также необходимо отслеживать связанные сервисы. А Elasticsearch предоставляет нам функцию мониторинга стека.

Введение в мониторинг стека

Stack Monitoring(Мониторинг стека)Функция используется для мониторинга Elasticsearch Кластеры и связанные с ними компоненты (например, Kibana、Logstash и Beats) инструменты для повышения производительности и здоровья. Он предоставляет подробные представления в реальном времени и исторических данных, которые могут помочь пользователям понять состояние загрузки кластера. узла、статус Индексаи ресурсы используют ситуации для быстрого выявления и решения потенциальных существующих проблем.

Схема архитектуры мониторинга

Функции и возможности мониторинга стека

1. Мониторинг кластеров и узлов

• Состояние работоспособности кластера：Показать состояние работоспособности кластера,включая желтый、зеленый、Красный индикатор здоровья.

• Производительность узла：Показать подробную информацию о каждом узле,нравиться Состояние процессора, памяти и диска, а также количество и скорость запросов индексов и запросов.

• Статус шардинга и реплики：Может отслеживать первичные шарды в кластереи Распространение копий,Для обеспечения избыточности данных и высокой доступности.

2. Индексный мониторинг

• Размер индекса и количество документов：Показать объем данных для каждого индексаи Количество документов,Чтобы найти индексы, в которых данные растут слишком быстро.

• Индекс производительности：Контролируйте скорость записи каждого индекса、Частота запросов、В случае операции обновления и слияния.

• статус индекса：Проверьте статус вашего индекса、Статус распределения шардов,Реагировать, когда существует сбой, не выделен или находится в неработоспособном состоянии.

3. Мониторинг операций поиска и записи

• Запросить производительность：Мониторинг поисков в кластере、Индексирование и время ответа на запрос на удаление и пропускная способность.

• Ошибка запроса：Анализ количества запрошенных ошибокитип,Для обнаружения ненормального поведения или потенциальных проблем.

4. Журналы и оповещения

• Можетпроходить Kibana Настройте правила оповещений для мониторинга определенных пороговых значений (например, CPU использовать Ставка、Шарды не распределяются и т.д.）и отправить уведомление。

• Ведение журнала позволяет пользователям отслеживать историю операций для облегчения устранения неполадок.

5. Межкомпонентный мониторинг

• Контролируйте весь Elastic Стек, в том числе Logstash、Kibana и Beats состояние здоровья.

• использовать конвейер данных журнала мониторинга (например, Beats -> Logstash -> Elasticsearch) скорость передачи и ошибка, быстро выявляют узкие места.

6. Мониторинг нескольких кластеров

• Поддерживает межкластерный мониторинг.,То есть несколько удаленных кластеров можно контролировать из центрального кластера.,Он подходит для управления крупномасштабными распределенными системами.

Включение и настройка мониторинга стека

1. проходить Kibana давать возможность

• существовать Kibana входить Stack Monitoring Страница с простой конфигурацией может предоставить возможностьмонитор。Kibana автоматически начнется с Elasticsearch Собирайте показатели мониторинга.
• Вы можете включить локальный или удаленный мониторинг.

2. использовать Metricbeat Сбор данных мониторинга

• проходить Конфигурация Metricbeat Собирайте показатели мониторинга и отправляйте данные в указанный Elasticsearch кластер. Метрикбит Обеспечьте более детальные показатели мониторинга.

3. Пользовательская конфигурация мониторинга

• Можетиспользовать Elasticsearch мониторинг API Настройте такие параметры, как цикл сбора и время хранения данных, в соответствии с конкретными потребностями.

Эффект мониторинга

После завершения настройки вы можете увидеть мониторинг измерения узла Elasticsearch, измерения индекса и измерения кластера. И мониторинг экземпляров Kibana.

преимущество

• Обнаружение проблем и оптимизация производительности：Можетпроходить Интуитивные данныеи Диаграммы трендов позволяют быстро выявить «горячие точки» в кластерах.иузкое место。

• планирование мощности：помогите с разумнымпланирование производительность, например, когда ресурсы кластера необходимо расширить или уменьшить.

• Предупреждение в режиме реального времени：поддерживать Конфигурация Правила оповещений,Чтобы вы могли получать напоминания до возникновения проблем.,Уменьшите вероятность прерывания обслуживания.