Kafka Producer отправляет сообщения брокеру, принцип и необходимые настройки параметров для высокой производительности.
Kafka Producer отправляет сообщения брокеру, принцип и необходимые настройки параметров для высокой производительности.

Producer Действия по отправке сообщения

Обычная производственная логика производителя Kafka включает следующие шаги:

  1. Настройте параметры клиента производителя для общих экземпляров производителя.
  2. Создайте сообщение для отправки.
  3. Отправить сообщение.
  4. Закройте экземпляр производителя.

Процесс отправки сообщений Producer показан на рисунке ниже.,нужно пройтиПерехватчик,сериализаториразделитель,в конечном итогеаккумуляторОтправить оптом на Broker。

Kafka Producer необходимые параметры для производства

  • bootstrap.server: укажите адрес брокера Kafka.
  • key.serializer: сериализатор ключей
  • value.serializer: сериализатор значений

Общие параметры:

  • пакет.количество.сообщений Значение по умолчанию: 200, количество сообщений в каждом пакете, работает только для asyc.
  • request.required.acks Значение по умолчанию: 0, 0 выражать producer Не нужно ждать leader Подтверждение, 1 представляет потребность leader Подтвердите запись на местный log и немедленно подтверди, -1 Подтвердите после завершения всех резервных копий. только правильно async Режим работаетиспользование, этот параметр настройки является данными без потерь и эффективностью отправки. Компромисс: если вы не чувствительны к потере данных, но заботитесь об эффективности сценариев, вы можете установить для него значение 0, что может значительно улучшить producer Отправить данныеиз эффективности.
  • запрос.таймаут.мс Значение по умолчанию: 10000, таймаут подтверждения.
  • partitioner.class Значение по умолчанию: kafka.producer.DefaultPartitioner, должно быть реализовано. kafka.produce.Partitions,согласно Key обеспечивает стратегию разделения. _Иногда нам нужны сообщения одного типа, которые необходимо обрабатывать последовательно,Поэтому нам нужно настроить стратегию распределения,Таким образом, одному и тому же разделу присваиваются изданные одного и того же типа. _
  • производитель.тип Значение по умолчанию: sync, указывает, будет ли сообщение отправляться синхронно или асинхронно. Используйте kafka.producer.AyncProducer для асинхронной асинхронной пакетной отправки и kafka.producer.SyncProducer для синхронной синхронизации. Синхронная и асинхронная отправка также влияют на эффективность создания сообщений.
  • compression.topic Значение по умолчанию: нет, сообщение «сжатие», по умолчанию — «не сжиматься». Другие методы сжатия включают «gzip», «snappy» и «lz4». Иссжатие сообщения может значительно уменьшить объем передачи сети и уменьшить пропускную способность сети. IO, тем самым улучшая общую производительность.
  • compressed.topics Значение по умолчанию: ноль, если установлено сжатиеиз, можно указать конкретное из topic сжатие, все сжатия, если не указано иное.
  • message.send.max.retries Значение по умолчанию: 3, максимальное количество попыток отправки сообщения.
  • retry.backoff.ms По умолчанию: 300, к каждой попытке добавляется дополнительный интервал.
  • topic.metadata.refresh.interval.ms Значение по умолчанию: 600000, периодическое из Время получения элемента из данных. когда раздел потерян, лидер Когда недоступно producer Также возьмет на себя инициативу по получению данных элемента, если это необходимо. 0,Тогда каждый раз, когда вы отправляете сообщение, вы будете получать данные в юанях.,Не рекомендуется. если отрицательный,Тогда данные элемента можно будет получить только в случае неудачи.
  • queue.buffering.max.ms По умолчанию: 5000, дюйм. producer queue изCache изданные максимальное время, только for asyc。
  • очередь.буферизация.макс.сообщение Значение по умолчанию: 10000, максимальное количество сообщений, кэшированных производителем, только для asyc.
  • очередь.enqueue.timeout.ms Значение по умолчанию: -1, 0 отбрасывается, когда очередь заполнена, отрицательное значение — блокировка, когда очередь заполнена, положительное значение — соответствующее время блокировки, когда очередь заполнена, только для асинхронного режима.
boy illustration
Учебное пособие по Jetpack Compose для начинающих, базовые элементы управления и макет
boy illustration
Код js веб-страницы, фон частицы, код спецэффектов
boy illustration
【новый! Суперподробное】Полное руководство по свойствам компонентов Figma.
boy illustration
🎉Обязательно к прочтению новичкам: полное руководство по написанию мини-программ WeChat с использованием программного обеспечения Cursor.
boy illustration
[Забавный проект Docker] VoceChat — еще одно приложение для мгновенного чата (IM)! Может быть встроен в любую веб-страницу!
boy illustration
Как реализовать переход по странице в HTML (html переходит на указанную страницу)
boy illustration
Как решить проблему зависания и низкой скорости при установке зависимостей с помощью npm. Существуют ли доступные источники npm, которые могут решить эту проблему?
boy illustration
Серия From Zero to Fun: Uni-App WeChat Payment Practice WeChat авторизует вход в систему и украшает страницу заказа, создает интерфейс заказа и инициирует запрос заказа
boy illustration
Серия uni-app: uni.navigateЧтобы передать скачок значения
boy illustration
Апплет WeChat настраивает верхнюю панель навигации и адаптируется к различным моделям.
boy illustration
JS-время конвертации
boy illustration
Обеспечьте бесперебойную работу ChromeDriver 125: советы по решению проблемы chromedriver.exe не найдены
boy illustration
Поле комментария, щелчок мышью, специальные эффекты, js-код
boy illustration
Объект массива перемещения объекта JS
boy illustration
Как открыть разрешение на позиционирование апплета WeChat_Как использовать WeChat для определения местонахождения друзей
boy illustration
Я даю вам два набора из 18 простых в использовании фонов холста Power BI, так что вам больше не придется возиться с цветами!
boy illustration
Получить текущее время в js_Как динамически отображать дату и время в js
boy illustration
Вам необходимо изучить сочетания клавиш vsCode для форматирования и организации кода, чтобы вам больше не приходилось настраивать формат вручную.
boy illustration
У ChatGPT большое обновление. Всего за 45 минут пресс-конференция показывает, что OpenAI сделал еще один шаг вперед.
boy illustration
Copilot облачной разработки — упрощение разработки
boy illustration
Микросборка xChatGPT с низким кодом, создание апплета чат-бота с искусственным интеллектом за пять шагов
boy illustration
CUDA Out of Memory: идеальное решение проблемы нехватки памяти CUDA
boy illustration
Анализ кластеризации отдельных ячеек, который должен освоить каждый&MarkerгенетическийВизуализация
boy illustration
vLLM: мощный инструмент для ускорения вывода ИИ
boy illustration
CodeGeeX: мощный инструмент генерации кода искусственного интеллекта, который можно использовать бесплатно в дополнение к второму пилоту.
boy illustration
Машинное обучение Реальный бой LightGBM + настройка параметров случайного поиска: точность 96,67%
boy illustration
Бесшовная интеграция, мгновенный интеллект [1]: платформа больших моделей Dify-LLM, интеграция без кодирования и встраивание в сторонние системы, более 42 тысяч звезд, чтобы стать свидетелями эксклюзивных интеллектуальных решений.
boy illustration
LM Studio для создания локальных больших моделей
boy illustration
Как определить количество слоев и нейронов скрытых слоев нейронной сети?
boy illustration
[Отслеживание целей] Подробное объяснение ByteTrack и детали кода