Используйте Docker Compose V2 для быстрого создания платформы анализа журналов ELK (Elasticsearch, Logstash и Kibana).
Используйте Docker Compose V2 для быстрого создания платформы анализа журналов ELK (Elasticsearch, Logstash и Kibana).

Предисловие

ELK представляет собой комбинацию трех программ с открытым исходным кодом: Elasticsearch, Logstash и Kibana. Elasticsearch — это распределенная система поиска и анализа, используемая для хранения журналов, поиска, анализа и запросов. Logstash — это инструмент сбора, преобразования и передачи данных, который собирает, фильтрует и преобразует данные перед их отправкой в ​​Elasticsearch или другое целевое хранилище. Kibana — это платформа визуализации данных, которая обеспечивает мощный анализ данных и функции информационной панели благодаря интеграции с Elasticsearch. Filebeat — это компонент Elastic Stack (ELK), используемый для упрощенного сбора и пересылки файлов журналов. Он может отслеживать указанные файлы журналов в режиме реального времени и отправлять их в Elasticsearch или Logstash для обработки и анализа.

Существует множество архитектур ELK, Эта Архитектура статьи Shareuse показана на рисунке: Beats(Filebeat) -> -> Elasticsearch -> Кибана, текущая производственная среда создает десятки миллионов журналов в день, а использование памяти составляет около 10G о

Функции

  • Открытый исходный код и бесплатно
  • Гибкость и масштабируемость, высокая доступность, простота расширения, поддержка кластеризации.
  • Эффективные возможности поиска и анализа
  • в реальном времени
  • легкийиспользовать

Использование

  • Текущие проекты микросервисовиспользовать,Автономное развертывание ELK,Обрабатывайте десятки миллионов бревен без стресса
  • использовать Kibana Сделал панель и мониторил систему по панели
  • использовать Docker Развертывание, удобное и быстрое
  • Начать довольно легко, но разобраться в этом наборе вещей не так-то просто.
  • Извлеките конфигурацию создания Docker и разверните ее за считанные минуты.

упражняться

Подготовить

  • Сервер linxu с памятью 8G+
  • Установить docker,docker compose
  • Работа новой машины после ее сборки ограничивает параметры jvm Elasticsearch 4g.
  • Эта Структура каталогов файлов статьи, полный файл находится на Github Репозиторий MeDevOps

Установить

Эта статья ELK Версия v7.8.1,Эта Контейнерная сеть статьииспользовать — это devopsnetwork , нужно создать docker network create devopsnetwork

Elasticsearch использовать docker compose Установить
  • чиновникиспользовать Docker Установитьдокумент
  • compose.yml
    • Указаны параметры jvm: 4g
    • открытый порт 9200: это порт Elasticsearch. REST Порт API по умолчанию.
    • открытый порт 9300: этот порт является внутренним портом связи между узлами Elasticsearch и используется по умолчанию для связи кластера между узлами.
    • Подключить каталог данных ./dataи Конфигурациядокумент./config/elasticsearch.yml
    • Два каталога должны быть Авторизовать,777 используется непосредственно здесь,Вы также можете использовать официальный сайт, соответствующий идентификатору пользователя es 1000.
Язык кода:javascript
копировать
version: '3.1'
services:
  elk_elasticsearch:
    image: elasticsearch:7.8.1
    container_name: elk_elasticsearch
    restart: always
    environment:
      - discovery.type=single-node
      - ES_JAVA_OPTS=-Xms4096m -Xmx4096m
    ports:
      - 9200:9200 
      - 9300:9300 
    volumes:
      # Авторизовать chmod 777 ./config/ && chmod 777 ./data/
      - ./data:/usr/share/elasticsearch/data
      - ./config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
    networks:
      - devopsnetwork

networks:
  devopsnetwork:
    external: true
  • config/elasticsearch.yml
Язык кода:javascript
копировать
network.host: 0.0.0.0
xpack:
  ml.enabled: false
  monitoring.enabled: false
  security.enabled: false
  watcher.enabled: false

Скопируйте его на сервер и запустите

Язык кода:javascript
копировать
#cd /app/elasticsearch
mkdir ./config
mkdir ./data
chmod 777 ./config/ && chmod 777 ./data/
docker compose up -d

Подтвердить доступ

Logstash использовать docker compose Установить
  • чиновникиспользовать Docker Установить документ
  • compose.yml
    • открытый порт5044: используется для получения данных журнала с других хостов.、
    • установлен ./pipelineи./configКаталог может запускать контейнерыкопироватьпублично заявить
    • Нужно ./config/logstash.yml и ./pipeline/logstash.conf Изменить наesадрес,ссылка
Язык кода:javascript
копировать
version: '3.1'
services:
  elk_logstash:
    image: logstash:7.17.16
    container_name: elk_logstash
    restart: always
    ports:
      - 5044:5044 
    volumes:
     # Авторизовать chmod 777 ./logs/ && chmod 777 ./data/ && chmod 777 ./pipeline/ && chmod 777 ./config/ 
      - /etc/timezone:/etc/timezone
      - /etc/localtime:/etc/localtime:ro
      - ./logs:/usr/share/logstash/logs
      - ./data:/usr/share/logstash/data
      - ./pipeline:/usr/share/logstash/pipeline
      - ./config:/usr/share/logstash/config
    networks:
      - devopsnetwork

networks:
  devopsnetwork:
    external: true
Язык кода:javascript
копировать
input {
    beats {
        port => 5044
        codec => json {
            charset => "UTF-8"
        }
    }

}

filter {  
 
}

output {
    elasticsearch { 
      hosts => ["http://192.168.123.102:9200"]
      index => "%{[app]}-%{+YYYY.MM.dd}" 
  }    
  stdout { 
    codec => rubydebug 
  }
}

Скопируйте его на сервер и запустите

Язык кода:javascript
копировать
mkdir ./data
mkdir ./logs
chmod 777 ./logs/ && chmod 777 ./data/ && chmod 777 ./pipeline/ && chmod 777 ./config/ 
docker compose up -d
Kibana использовать docker compose Установить
Язык кода:javascript
копировать
version: '3.1'
services:
  elk_kibana:
    image: kibana:7.8.1
    container_name: elk_kibana
    restart: always
    environment:
      - discovery.type=single-node
    ports:
      - 5601:5601 
    volumes:
      - ./config/kibana.yml:/usr/share/kibana/config/kibana.yml
    networks:
      - devopsnetwork

networks:
  devopsnetwork:
    external: true
  • config/kibana.yml
Язык кода:javascript
копировать
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://192.168.123.102:9200/"]
i18n.locale: "zh-CN"
xpack:
  apm.ui.enabled: false
  graph.enabled: false
  ml.enabled: false
  monitoring.enabled: false
  reporting.enabled: false
  security.enabled: false
  grokdebugger.enabled: false
  searchprofiler.enabled: false

Скопируйте его на сервер и запустите

Язык кода:javascript
копировать
docker compose up -d
Filebeat использовать docker compose Установить
  • compose.yml
    • Смонтировать файлbeatfile конфигурации,Каталог данных и каталог журналов,Необходимо установить разрешения
    • Подключите журналы вне контейнера в каталог сбора журналов внутри контейнера.
Язык кода:javascript
копировать
version: '3.1'
services:
  elk_filebeat:
    image: elastic/filebeat:7.8.1
    container_name: elk_filebeat
    restart: always
    volumes:
      # Авторизовать chmod 777 ./config/ && chmod 777 ./data/ && chmod 777 ./logs/ && chmod 777 /app/logs
      - ./config/filebeat.yml:/usr/share/filebeat/filebeat.yml:ro
      - ./data:/usr/share/filebeat/data 
      - ./logs:/usr/share/filebeat/logs
      - /app/logs:/app/logs
    networks:
      - devopsnetwork

networks:
  devopsnetwork:
    external: true
  • config/filebeat.yml
    • hosts Узлы необходимо настроить logstash адрес
    • paths Укажите каталог журнала
Язык кода:javascript
копировать
output.logstash:
  #logstash hosts
  hosts: ["192.168.123.102:5044"]
fields_under_root: true    
filebeat.inputs: 
 - type: log
   enabled: true
   paths:
       - /app/logs/*/*.log    
   close_older: 24h
   ignore_older: 24h   
   json.keys_under_root: true
   json.overwrite_keys: true
   encoding: utf-8 
filebeat.config.modules: 
  path: ${path.config}/modules.d/*.yml 
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 3  
processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~  
  - drop_fields:    
      fields: ["log","@version","ecs","agent","beat","host","beat.hostname","beat.version","beat.name","prospector.type","input.type","host.id","host.name","host.os.build","host.os.family","host.os.name","host.os.platform","host.os.platform","log.file.path","tags","offset","host.architecture","host.os.version"]

безопасно использовать

Настройка переадресации доменного имени nginx
Язык кода:javascript
копировать
server {

    listen 80;
    listen       443 ssl;
    server_name kibana.devops.test.com;  # Измените его на свое собственное доменное имя.

    ssl_certificate      /certs/kibana.devops.test.com/server.crt;
    ssl_certificate_key  /certs/kibana.devops.test.com/server.key;
    ssl_session_cache    shared:SSL:1m;
    ssl_session_timeout  5m;
    ssl_ciphers  HIGH:!aNULL:!MD5;
    ssl_prefer_server_ciphers  on;

    location / {
            proxy_pass http://192.168.123.102:5601;
            proxy_http_version 1.1;
            proxy_buffering off;
            proxy_request_buffering off;
            proxy_set_header Upgrade $http_upgrade;
            proxy_set_header Connection "upgrade";
            proxy_set_header Host $host;
            proxy_set_header X-Forwarded-For $remote_addr;
    }
}

Конфигурация завершена и вы можете получить доступ к доменному именииспользовать

Настройте базовую аутентификацию nginx

Добавьте следующее содержимое в файл конфигурации Nginx

Язык кода:javascript
копировать
location / {
    auth_basic "Restricted Content";
    auth_basic_user_file /certs/kibana.devops.test.com/passwd;
    ...
}

Добавить соответствующийpasswdдокумент,использовать htpasswd Генерировать, если пароль учетной записи root devops666 файл конфигурации

Язык кода:javascript
копировать
root:WvesKBTr22.wY

Можетиспользоватья metools Инструмент генератор паролей генерировать

После завершения настройки обновите страницу после перезагрузки конфигурации, и вам будет предложено ввести свою учетную запись и пароль.

Настройте белый список IP-адресов nginx
Язык кода:javascript
копировать
location / {
    allow 192.168.123.201;   # Разрешенные IP-адреса
    deny all;              # Запретить все остальные IP-адреса
}

постскриптум

Эта статья только для ELK Установка была введена и организована соответствующим образом. Docker Compose Файл конфигурации можно быстро установить. ELK Окружение, способы его объединения с проектом будут опубликованы позже.

boy illustration
Углубленный анализ переполнения памяти CUDA: OutOfMemoryError: CUDA не хватает памяти. Попыталась выделить 3,21 Ги Б (GPU 0; всего 8,00 Ги Б).
boy illustration
[Решено] ошибка установки conda. Среда решения: не удалось выполнить первоначальное зависание. Повторная попытка с помощью файла (графическое руководство).
boy illustration
Прочитайте нейросетевую модель Трансформера в одной статье
boy illustration
.ART Теплые зимние предложения уже открыты
boy illustration
Сравнительная таблица описания кодов ошибок Amap
boy illustration
Уведомление о последних правилах Points Mall в декабре 2022 года.
boy illustration
Даже новички могут быстро приступить к работе с легким сервером приложений.
boy illustration
Взгляд на RSAC 2024|Защита конфиденциальности в эпоху больших моделей
boy illustration
Вы используете ИИ каждый день и до сих пор не знаете, как ИИ дает обратную связь? Одна статья для понимания реализации в коде Python общих функций потерь генеративных моделей + анализ принципов расчета.
boy illustration
Используйте (внутренний) почтовый ящик для образовательных учреждений, чтобы использовать Microsoft Family Bucket (1T дискового пространства на одном диске и версию Office 365 для образовательных учреждений)
boy illustration
Руководство по началу работы с оперативным проектом (7) Практическое сочетание оперативного письма — оперативного письма на основе интеллектуальной системы вопросов и ответов службы поддержки клиентов
boy illustration
[docker] Версия сервера «Чтение 3» — создайте свою собственную программу чтения веб-текста
boy illustration
Обзор Cloud-init и этапы создания в рамках PVE
boy illustration
Корпоративные пользователи используют пакет регистрационных ресурсов для регистрации ICP для веб-сайта и активации оплаты WeChat H5 (с кодом платежного узла версии API V3)
boy illustration
Подробное объяснение таких показателей производительности с высоким уровнем параллелизма, как QPS, TPS, RT и пропускная способность.
boy illustration
Удачи в конкурсе Python Essay Challenge, станьте первым, кто испытает новую функцию сообщества [Запускать блоки кода онлайн] и выиграйте множество изысканных подарков!
boy illustration
[Техническая посадка травы] Кровавая рвота и отделка позволяют вам необычным образом ощипывать гусиные перья! Не распространяйте информацию! ! !
boy illustration
[Официальное ограниченное по времени мероприятие] Сейчас ноябрь, напишите и получите приз
boy illustration
Прочтите это в одной статье: Учебник для няни по созданию сервера Huanshou Parlu на базе CVM-сервера.
boy illustration
Cloud Native | Что такое CRD (настраиваемые определения ресурсов) в K8s?
boy illustration
Как использовать Cloudflare CDN для настройки узла (CF самостоятельно выбирает IP) Гонконг, Китай/Азия узел/сводка и рекомендации внутреннего высокоскоростного IP-сегмента
boy illustration
Дополнительные правила вознаграждения амбассадоров акции в марте 2023 г.
boy illustration
Можно ли открыть частный сервер Phantom Beast Palu одним щелчком мыши? Супер простой урок для начинающих! (Прилагается метод обновления сервера)
boy illustration
[Играйте с Phantom Beast Palu] Обновите игровой сервер Phantom Beast Pallu одним щелчком мыши
boy illustration
Maotouhu делится: последний доступный внутри страны адрес склада исходного образа Docker 2024 года (обновлено 1 декабря)
boy illustration
Кодирование Base64 в MultipartFile
boy illustration
5 точек расширения SpringBoot, супер практично!
boy illustration
Глубокое понимание сопоставления индексов Elasticsearch.
boy illustration
15 рекомендуемых платформ разработки с нулевым кодом корпоративного уровня. Всегда найдется та, которая вам понравится.
boy illustration
Аннотация EasyExcel позволяет экспортировать с сохранением двух десятичных знаков.