Перехватчик проекта 4 Flume предварительно обрабатывает информацию журнала
Перехватчик проекта 4 Flume предварительно обрабатывает информацию журнала

Введение

Эта статья в основном посвящена испытаниям перехватчиков, связанных с лотком.

перехватчик времени

Конфигурация Flume файл определяет процесс сбора данных,Стремясь начать сSyslogИсточник получения информации журнала。в конфигурацииa1.sources.r1определяетTCPпорт（50000）,Позволяет Flume получать данные системного журнала от «главного» хоста. Для обработки информации о времени,Добавлено в конфигурациюtimestampПерехватчик,проходитьpreserveExistingустановлен наfalse,Убедитесь, что каждому журналу присвоена новая временная метка.。接收到из数据проходить配置из通道（c1）передача,затем отправили вHDFSхранилище。a1.sinks.k1部分将数据хранилище在指定路径下,Используйте автоматическое присвоение имен каталогам на основе даты и минуты.,Убедитесь, что файлы журналов организованы и управляются более эффективно. Цель всего процесса — добиться эффективного сбора данных журналов и облегчить последующий анализ.

перехватчик имени хоста

Этот файл конфигурации Flume устанавливает источник HTTP для получения данных журнала в формате JSON и привязывается к порту 50000 «главного» хоста. В конфигурации используются два перехватчика: перехватчик временной метки записывает время каждого журнала, а перехватчик хоста добавляет информацию об имени хоста. Полученные данные передаются по каналу памяти и записываются в HDFS. Файлы автоматически сортируются по дате и минутам и имеют префикс имени хоста для облегчения идентификации источника. В целом, эта конфигурация реализует функции получения журналов HTTP, добавления меток времени и информации о хосте, а также эффективного хранения их в HDFS.

статический перехватчик

Конфигурация Flume файл устанавливает источник для получения данных системного журнала,Прослушивание порта 50000 хоста «master».。проходить内存通道（c1）для передачи данных。в конфигурации Перехватчик使用了staticтип,определяет静态键值对（static_keyиstatic_value）,Это означает, что к каждому полученному сообщению журнала будут прикреплены эти статические метаданные. наконец,Используйте агрегатор типа регистратора (приемник) для вывода обработанных журналов на консоль или в файл журнала. Данная конструкция подходит для простого мониторинга и отладки логов.,Добавление статических метаданных может помочь идентифицировать или классифицировать данные журнала. общий,В данной конфигурации реализованы простые функции приема и маркировки журналов.,Облегчите последующий анализ и отслеживание.

перехватчик регулярных выражений

Конфигурация Flume файл НастройтеTCPизSyslogисточник,Прослушивание порта 50000 хоста «master».,для полученияSyslogинформация。используется в конфигурацииregex_filterПерехватчик,определяет正则表达式（^[0-9]*$）,Этот фильтр исключает все сообщения, соответствующие этому регулярному выражению (т. е. сообщения, содержащие только цифры).,так что нетда Будут напечатаны чистые числовые данные.）,потому чтоexcludeEventsустановлен наtrue。这意味着只有不匹配此模式изинформация才会被处理并传递到下一个阶段。所有未被排除изинформацияпроходить内存通道（c1）передача инфекции,и, наконец, вывод в консоль или файл журнала,Он обрабатывается агрегатором регистратора (приемником). Эта конфигурация подходит для сценариев, в которых сообщения журнала необходимо фильтровать и обрабатывать на основе определенных шаблонов.

Поиск и замена перехватчиков

Конфигурация Flume файл НастройтеHTTPисточник,Привязывает порт 50000 хоста «master».,для полученияHTTP请求中из数据。используется в конфигурацииsearch_replaceПерехватчик,该Перехватчик能够搜索特定из正则表达式模式（^[A-Za-z0-9_]+）并将匹配из内容替换为指定字符串（test）。所有数据проходить内存通道（c1）передача инфекции,и наконец напишиHDFS。HDFSиз汇聚器（sink）将数据хранилище在/netcatFlumeв каталоге,Именование файла включает дату и время,И генерируйте новые файлы по мере необходимости каждые 10 МБ или каждые 60 секунд. Эта конфигурация подходит для сценариев, в которых необходимо постоянно обрабатывать и хранить определенное содержимое HTTP-запросов.

Предварительная подготовка

Язык кода:shell
копировать
# Создайте конфигурацию для хранения перехватчиков. каталог файлов
это так много -p /opt/module/flume/conf/Interceptor

#  Создайте каталог сценария для хранения перехватчика запуска.
mkdir -p /opt/module/flume/conf/Interceptor/shell

# Запустите все процессы Hadoop и создайте соответствующие пути.
hadoop fs -mkdir -p /flume/mytime
hadoop fs -mkdir -p /flume/myhost
# Добавить разрешения
hadoop fs -chmod -R 777 /flume/*

Установить перехватчик временных меток

  • Конфигурационный файл
Язык кода:shell
копировать
# Переключиться на конфигурацию перехватчика. файл目录
cd /opt/module/flume/conf/Interceptor

# 编辑Конфигурационный файл
vim mytime.conf

a1.sources = r1
a1.sinks = k1
a1.channels = c1

a1.sources.r1.type = syslogtcp
a1.sources.r1.port = 50000
a1.sources.r1.host = master
a1.sources.r1.channels = c1
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = timestamp
a1.sources.r1.interceptors.i1.preserveExisting = false

a1.sinks.k1.type = hdfs
a1.sinks.k1.channel = c1
a1.sinks.k1.hdfs.path = hdfs://master:8020/flume/mytime/%Y-%m-%d/%H%M
a1.sinks.k1.hdfs.filePrefix = looklook5
a1.sinks.k1.hdfs.fileType = DataStream

a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
  • сценарий запуска
Язык кода:shell
копировать
# Переключиться в каталог скриптов
cd /opt/module/flume/conf/Interceptor/shell

# Редактировать сценарий
vim mytime-conf

/opt/module/flume/bin/flume-ng agent -n a1 -c /opt/module/flume/conf/ -f /opt/module/flume/conf/Interceptor/mytime.conf -Dflume.root.logger=INFO,console

# Добавить разрешения
chmod 777 ./*
  • Начать процесс
Язык кода:shell
копировать
# Переключиться в каталог скриптов
cd /opt/module/flume/conf/Interceptor/shell

# сценарий запуска
mytime-conf

# Откройте другой терминал для проверки
curl -X POST -d '[{"headers" : {"looklook1" : "looklook1 isheader", "looklook2" : "looklook2 isheader"}, "body" : "hellolooklook5"}]' http://master:50000
  • Результаты испытаний
  • информация журнала лотка
  • Представление команд
  • Посмотреть в Интернете

Настройка перехватчика имени хоста

  • Конфигурационный файл
Язык кода:shell
копировать
# Переключиться на конфигурацию перехватчика. файл目录
cd /opt/module/flume/conf/Interceptor

# 编辑Конфигурационный файл
vim myhost.conf 

a1.sources = r1
a1.sinks = k1
a1.channels = c1

a1.sources.r1.type = http
a1.sources.r1.bind = master
a1.sources.r1.port = 50000
a1.sources.r1.handler = org.apache.flume.source.http.JSONHandler

a1.sources.r1.interceptors = i1 i2
a1.sources.r1.interceptors.i1.type = timestamp
a1.sources.r1.interceptors.i1.preserveExisting = false
a1.sources.r1.interceptors.i2.type = host
a1.sources.r1.interceptors.i2.useIP = false

a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://master:8020/flume/myhost/%Y-%m-%d/%H%M
a1.sinks.k1.hdfs.filePrefix = %{host}
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.writeFormat = Text
a1.sinks.k1.hdfs.rollInterval = 0
a1.sinks.k1.hdfs.rollCount = 10
a1.sinks.k1.hdfs.rollSize = 1024000

a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

a1.sinks.k1.channel = c1
a1.sources.r1.channels = c1
  • сценарий запуска
Язык кода:shell
копировать
# Переключиться в каталог скриптов
cd /opt/module/flume/conf/Interceptor/shell

# Редактировать сценарий
vim myhost-conf

/opt/module/flume/bin/flume-ng agent -n a1 -c /opt/module/flume/conf/ -f /opt/module/flume/conf/Interceptor/myhost.conf -Dflume.root.logger=INFO,console

# Добавить разрешения
chmod 777 ./*
  • Начать процесс
Язык кода:shell
копировать
# Переключиться в каталог скриптов
cd /opt/module/flume/conf/Interceptor/shell

# сценарий запуска
myhost-conf

# Откройте другой терминал для проверки
curl -X POST -d '[{"headers" : {} ,"body" : "hellolooklook5"}]' http://master:50000
  • Результаты испытаний
  • информация журнала лотка
  • Представление команд
  • Посмотреть в Интернете

Настройка статического перехватчика

  • Конфигурационный файл
Язык кода:shell
копировать
# Переключиться на конфигурацию перехватчика. файл目录
cd /opt/module/flume/conf/Interceptor

# 编辑Конфигурационный файл
vim static.conf

a1.sources = r1
a1.sinks = k1
a1.channels = c1

a1.sources.r1.type = syslogtcp 
a1.sources.r1.port = 50000     
a1.sources.r1.host = master    
a1.sources.r1.channels = c1    

a1.sources.r1.interceptors = i1 
a1.sources.r1.interceptors.i1.type = static 
a1.sources.r1.interceptors.i1.key = static_key 
a1.sources.r1.interceptors.i1.value = static_value 
a1.sinks.k1.type = logger 
a1.sinks.k1.channel = c1  

a1.channels.c1.type = memory 
a1.channels.c1.capacity = 1000 
a1.channels.c1.transactionCapacity = 100 

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
  • сценарий запуска
Язык кода:shell
копировать
# Переключиться в каталог скриптов
cd /opt/module/flume/conf/Interceptor/shell

# Редактировать сценарий
vim static-conf

/opt/module/flume/bin/flume-ng agent -n a1 -c /opt/module/flume/conf/ -f /opt/module/flume/conf/Interceptor/static.conf -Dflume.root.logger=INFO,console

# Добавить разрешения
chmod 777 ./*
  • Начать процесс
Язык кода:shell
копировать
# Переключиться в каталог скриптов
cd /opt/module/flume/conf/Interceptor/shell

# сценарий запуска
static-conf

# Откройте другой терминал для проверки
curl -X POST -d '["headers": {"flume"}, "body": {"test"}]' http://master:50000
  • Результаты испытаний

Установить перехватчик фильтра регулярных выражений

  • Конфигурационный файл
Язык кода:shell
копировать
# Переключиться на конфигурацию перехватчика. файл目录
cd /opt/module/flume/conf/Interceptor

# 编辑Конфигурационный файл
vim regex-filter.conf 

a1.sources = r1
a1.sinks = k1
a1.channels = c1

a1.sources.r1.type = syslogtcp
a1.sources.r1.host = master
a1.sources.r1.port = 50000
a1.sources.r1.channels = c1
a1.sources.r1.interceptors = i1

a1.sources.r1.interceptors.i1.type = regex_filter
a1.sources.r1.interceptors.i1.regex = ^[0-9]*$
a1.sources.r1.interceptors.i1.excludeEvents = true

a1.sinks.k1.type = logger
a1.sinks.k1.channel = c1

a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
  • сценарий запуска
Язык кода:shell
копировать
# Переключиться в каталог скриптов
cd /opt/module/flume/conf/Interceptor/shell

# Редактировать сценарий
vim regex-filter-conf

/opt/module/flume/bin/flume-ng agent -n a1 -c /opt/module/flume/conf/ -f /opt/module/flume/conf/Interceptor/regex-filter.conf -Dflume.root.logger=INFO,console

# Добавить разрешения
chmod 777 ./*
  • Начать процесс
Язык кода:shell
копировать
# Переключиться в каталог скриптов
cd /opt/module/flume/conf/Interceptor/shell

# сценарий запуска
regex-filter-conf

# Откройте другой терминал для проверки
# nc да netcat из缩写,да一个用于网络通信из工具,Может использоваться для отправки и получения данных
эхо "а" | NC мастер 50000
эхо "1222" |
эхо "а222" |
  • Результаты испытаний

Настройка поиска и замены перехватчика

  • Конфигурационный файл
Язык кода:shell
копировать
# Переключиться на конфигурацию перехватчика. файл目录
cd /opt/module/flume/conf/Interceptor

# 编辑Конфигурационный файл
vim search.conf 

a1.sources = r1
a1.channels = c1
a1.sinks = k1

a1.sources.r1.type = http
a1.sources.r1.bind = master
a1.sources.r1.port = 50000

a1.sources.r1.interceptors = search-replace
a1.sources.r1.interceptors.search-replace.type = search_replace
a1.sources.r1.interceptors.search-replace.searchPattern = ^[A-Za-z0-9_]+
a1.sources.r1.interceptors.search-replace.replaceString = test
a1.sources.r1.interceptors.search-replace.charset = UTF-8

a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 1000

a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = /netcatFlume
a1.sinks.k1.hdfs.filePrefix = %Y%m%d-
a1.sinks.k1.hdfs.writeFormat = text
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.rollSize = 10485760
a1.sinks.k1.hdfs.rollCount = 0
a1.sinks.k1.hdfs.rollInterval = 60
a1.sinks.k1.hdfs.useLocalTimeStamp = true

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
  • сценарий запуска
Язык кода:shell
копировать
# Переключиться в каталог скриптов
cd /opt/module/flume/conf/Interceptor/shell

# Редактировать сценарий
vim search-conf

/opt/module/flume/bin/flume-ng agent -n a1 -c /opt/module/flume/conf/ -f /opt/module/flume/conf/Interceptor/search.conf -Dflume.root.logger=INFO,console

# Добавить разрешения
chmod 777 ./*
  • Начать процесс
Язык кода:shell
копировать
# Переключиться в каталог скриптов
cd /opt/module/flume/conf/Interceptor/shell

# сценарий запуска
search-conf

# Откройте другой терминал для проверки
curl -x POST -d '[{"headers" : {} ,"body" : "example"}]' http://master:50000
  • Результаты испытаний
  • информация журнала лотка
  • Представление команд
  • Посмотреть в Интернете
boy illustration
Углубленный анализ переполнения памяти CUDA: OutOfMemoryError: CUDA не хватает памяти. Попыталась выделить 3,21 Ги Б (GPU 0; всего 8,00 Ги Б).
boy illustration
[Решено] ошибка установки conda. Среда решения: не удалось выполнить первоначальное зависание. Повторная попытка с помощью файла (графическое руководство).
boy illustration
Прочитайте нейросетевую модель Трансформера в одной статье
boy illustration
.ART Теплые зимние предложения уже открыты
boy illustration
Сравнительная таблица описания кодов ошибок Amap
boy illustration
Уведомление о последних правилах Points Mall в декабре 2022 года.
boy illustration
Даже новички могут быстро приступить к работе с легким сервером приложений.
boy illustration
Взгляд на RSAC 2024｜Защита конфиденциальности в эпоху больших моделей
boy illustration
Вы используете ИИ каждый день и до сих пор не знаете, как ИИ дает обратную связь? Одна статья для понимания реализации в коде Python общих функций потерь генеративных моделей + анализ принципов расчета.
boy illustration
Используйте (внутренний) почтовый ящик для образовательных учреждений, чтобы использовать Microsoft Family Bucket (1T дискового пространства на одном диске и версию Office 365 для образовательных учреждений)
boy illustration
Руководство по началу работы с оперативным проектом (7) Практическое сочетание оперативного письма — оперативного письма на основе интеллектуальной системы вопросов и ответов службы поддержки клиентов
boy illustration
[docker] Версия сервера «Чтение 3» — создайте свою собственную программу чтения веб-текста
boy illustration
Обзор Cloud-init и этапы создания в рамках PVE
boy illustration
Корпоративные пользователи используют пакет регистрационных ресурсов для регистрации ICP для веб-сайта и активации оплаты WeChat H5 (с кодом платежного узла версии API V3)
boy illustration
Подробное объяснение таких показателей производительности с высоким уровнем параллелизма, как QPS, TPS, RT и пропускная способность.
boy illustration
Удачи в конкурсе Python Essay Challenge, станьте первым, кто испытает новую функцию сообщества [Запускать блоки кода онлайн] и выиграйте множество изысканных подарков!
boy illustration
[Техническая посадка травы] Кровавая рвота и отделка позволяют вам необычным образом ощипывать гусиные перья! Не распространяйте информацию! ! !
boy illustration
[Официальное ограниченное по времени мероприятие] Сейчас ноябрь, напишите и получите приз
boy illustration
Прочтите это в одной статье: Учебник для няни по созданию сервера Huanshou Parlu на базе CVM-сервера.
boy illustration
Cloud Native | Что такое CRD (настраиваемые определения ресурсов) в K8s?
boy illustration
Как использовать Cloudflare CDN для настройки узла (CF самостоятельно выбирает IP) Гонконг, Китай/Азия узел/сводка и рекомендации внутреннего высокоскоростного IP-сегмента
boy illustration
Дополнительные правила вознаграждения амбассадоров акции в марте 2023 г.
boy illustration
Можно ли открыть частный сервер Phantom Beast Palu одним щелчком мыши? Супер простой урок для начинающих! (Прилагается метод обновления сервера)
boy illustration
[Играйте с Phantom Beast Palu] Обновите игровой сервер Phantom Beast Pallu одним щелчком мыши
boy illustration
Maotouhu делится: последний доступный внутри страны адрес склада исходного образа Docker 2024 года (обновлено 1 декабря)
boy illustration
Кодирование Base64 в MultipartFile
boy illustration
5 точек расширения SpringBoot, супер практично!
boy illustration
Глубокое понимание сопоставления индексов Elasticsearch.
boy illustration
15 рекомендуемых платформ разработки с нулевым кодом корпоративного уровня. Всегда найдется та, которая вам понравится.
boy illustration
Аннотация EasyExcel позволяет экспортировать с сохранением двух десятичных знаков.
©