Big Data NiFi (16): Подключение процессора
Big Data NiFi (16): Подключение процессора

Подключение процессора

1. Просмотрите FlowFile в очереди.

После отдельного запуска процессора GenerateFlowFile вы можете заметить, что в соответствующей очереди соединения есть данные. Щелкните правой кнопкой мыши «Список очереди» в соединении, чтобы просмотреть информацию о FlowFile в очереди:

2. Просмотр значений настраиваемых атрибутов FlowFile.

Вы также можете просмотреть информацию о настроенном атрибуте в атрибуте FlowFile в очереди. Например, установите пользовательский атрибут «mykey» в процессоре «GenerateFlowFile» и установите соответствующее значение «myvalue»:

Запустите «GenerateFlowFile» отдельно, чтобы получить некоторые данные, и просмотрите атрибуты FlowFile в очереди следующим образом:

3. Конфигурация подключения

Для подключенных подключений вы можете настроить дополнительную информацию через «Настроить»:

Нажмите «НАСТРОЙКИ» на всплывающей странице:

Срок действия данных FlowFile истекает:

Установка времени истечения срока действия FlowFile может привести к удалению данных в очереди, которые не могут быть обработаны вовремя. Значение по умолчанию — 0. Срок действия данных никогда не истекает. Когда установлен срок действия, на соединении Connect можно увидеть небольшой значок часов.

Противодавление «Бэк Пресс»:

NiFi предоставляет два механизма настройки противодавления. Механизм противодавления позволяет определить, сколько данных находится в очереди. Когда это количество будет достигнуто, исходный процессор больше не будет планировать данные, чтобы предотвратить переполнение данных. «Порог объекта противодавления» определяет количество данных в очереди для запуска механизма противодавления. «Порог размера данных противодавления» определяет размер данных в очереди, которая запускает механизм противодавления. После настройки механизма противодавления на соединении Connection отобразится индикатор выполнения.

«Стратегии балансировки нагрузки» балансировка нагрузки:

Варианты политики балансировки нагрузки следующие:

  • Не балансировать нагрузку: не балансировать данные в кластере, значение по умолчанию.
  • Разделение по атрибуту: определите, на какой узел отправляются данные, на основе значения атрибута, указанного пользователем. Данные с одинаковым значением атрибута будут отправлены на один и тот же узел. Если узел, на который отправляются данные, отключен, данные не будут отправляться на другие узлы и будут отправлены автоматически при повторном подключении узла к кластеру.
  • Круговой перебор: данные распределяются в режиме опроса. Когда узел отключается, он автоматически опрашивается и отправляется на другие узлы.
  • Один узел: все данные отправляются на один узел.,Не Конфигурация какого узла. Когда узел отключен от кластера,Данные не будут отправляться на другие узлы,пока узел снова не станет доступен.

После настройки балансировки нагрузки вы можете увидеть значок:

«Сжатие балансировки нагрузки» — сжатие данных балансировки нагрузки:

После настройки стратегии балансировки нагрузки вы можете указать, следует ли сжимать данные, передаваемые между узлами. Доступны следующие варианты:

  • Не сжимать: Не сжимать.
  • Сжимать только атрибуты: сжимать только атрибуты.
  • Сжатие атрибутов и содержимого. Сжатие атрибутов и содержимого.

Приоритет «Выбор приоритета»:

Вы можете указать приоритет данных в очереди, чтобы обрабатываться данные с более высоким приоритетом. Приоритеты можно использовать, перетащив их из «Доступные приоритезаторы» на вкладку «Выбранные приоритезаторы». Можно выбрать несколько приоритетов, и данные будут отсортированы в соответствии с выбранным приоритетом. Варианты приоритета следующие:

  • FirstInFirstOutPrioritizer: Учитывая два FlowFile, сначала обрабатываются FlowFiles, которые первыми поступают в соединение.
  • NewestFlowFileFirstPrioritizer: учитывая два FlowFile, последний FlowFile в потоке данных будет обработан первым.
  • OldestFlowFileFirstPrioritizer: дано два FlowFile.,Самые старые в потоке данных будут обработаны первыми.FlowFiles。Это схема по умолчанию, используемая, если приоритет не выбран.
  • PriorityAttributePrioritizer: учитывая два FlowFile, будет извлечен атрибут с именем Priority. Первым будет обработано сообщение с наименьшим значением приоритета. Рекомендуется задать числовое значение. Если это строка, она будет отсортирована по коду ascii.

4. Просмотр информации о подключениях

Посмотреть информацию о подключении можно в разделе «Подключение» главного меню «Сводка»:

5. Настройте изогнутое соединение

Вы можете дважды щелкнуть линию соединения, чтобы добавить точку изгиба. Повторный двойной щелчок по точке изгиба приведет к удалению текущей точки изгиба.

boy illustration
Углубленный анализ переполнения памяти CUDA: OutOfMemoryError: CUDA не хватает памяти. Попыталась выделить 3,21 Ги Б (GPU 0; всего 8,00 Ги Б).
boy illustration
[Решено] ошибка установки conda. Среда решения: не удалось выполнить первоначальное зависание. Повторная попытка с помощью файла (графическое руководство).
boy illustration
Прочитайте нейросетевую модель Трансформера в одной статье
boy illustration
.ART Теплые зимние предложения уже открыты
boy illustration
Сравнительная таблица описания кодов ошибок Amap
boy illustration
Уведомление о последних правилах Points Mall в декабре 2022 года.
boy illustration
Даже новички могут быстро приступить к работе с легким сервером приложений.
boy illustration
Взгляд на RSAC 2024|Защита конфиденциальности в эпоху больших моделей
boy illustration
Вы используете ИИ каждый день и до сих пор не знаете, как ИИ дает обратную связь? Одна статья для понимания реализации в коде Python общих функций потерь генеративных моделей + анализ принципов расчета.
boy illustration
Используйте (внутренний) почтовый ящик для образовательных учреждений, чтобы использовать Microsoft Family Bucket (1T дискового пространства на одном диске и версию Office 365 для образовательных учреждений)
boy illustration
Руководство по началу работы с оперативным проектом (7) Практическое сочетание оперативного письма — оперативного письма на основе интеллектуальной системы вопросов и ответов службы поддержки клиентов
boy illustration
[docker] Версия сервера «Чтение 3» — создайте свою собственную программу чтения веб-текста
boy illustration
Обзор Cloud-init и этапы создания в рамках PVE
boy illustration
Корпоративные пользователи используют пакет регистрационных ресурсов для регистрации ICP для веб-сайта и активации оплаты WeChat H5 (с кодом платежного узла версии API V3)
boy illustration
Подробное объяснение таких показателей производительности с высоким уровнем параллелизма, как QPS, TPS, RT и пропускная способность.
boy illustration
Удачи в конкурсе Python Essay Challenge, станьте первым, кто испытает новую функцию сообщества [Запускать блоки кода онлайн] и выиграйте множество изысканных подарков!
boy illustration
[Техническая посадка травы] Кровавая рвота и отделка позволяют вам необычным образом ощипывать гусиные перья! Не распространяйте информацию! ! !
boy illustration
[Официальное ограниченное по времени мероприятие] Сейчас ноябрь, напишите и получите приз
boy illustration
Прочтите это в одной статье: Учебник для няни по созданию сервера Huanshou Parlu на базе CVM-сервера.
boy illustration
Cloud Native | Что такое CRD (настраиваемые определения ресурсов) в K8s?
boy illustration
Как использовать Cloudflare CDN для настройки узла (CF самостоятельно выбирает IP) Гонконг, Китай/Азия узел/сводка и рекомендации внутреннего высокоскоростного IP-сегмента
boy illustration
Дополнительные правила вознаграждения амбассадоров акции в марте 2023 г.
boy illustration
Можно ли открыть частный сервер Phantom Beast Palu одним щелчком мыши? Супер простой урок для начинающих! (Прилагается метод обновления сервера)
boy illustration
[Играйте с Phantom Beast Palu] Обновите игровой сервер Phantom Beast Pallu одним щелчком мыши
boy illustration
Maotouhu делится: последний доступный внутри страны адрес склада исходного образа Docker 2024 года (обновлено 1 декабря)
boy illustration
Кодирование Base64 в MultipartFile
boy illustration
5 точек расширения SpringBoot, супер практично!
boy illustration
Глубокое понимание сопоставления индексов Elasticsearch.
boy illustration
15 рекомендуемых платформ разработки с нулевым кодом корпоративного уровня. Всегда найдется та, которая вам понравится.
boy illustration
Аннотация EasyExcel позволяет экспортировать с сохранением двух десятичных знаков.