Разница между потоковой обработкой данных и пакетной обработкой данных в основном заключается в методе обработки данных, своевременности, конструкции архитектуры и применимых сценариях. Хотя как системы пакетной обработки, так и системы потоковой обработки могут обрабатывать данные, их методы и цели обработки данных различны. Ниже я проанализирую различия между «потоковой обработкой данных» и «пакетной обработкой данных».

1. Потоковая обработка данных и пакетная обработка данных

Потоковая обработка

• определение: Потоковая обработка Данные относятся к непрерывной обработке потоков данных в реальном времени. Данные обрабатываются сразу после их создания или получения, не дожидаясь поступления всех данных. Обработка и передача данных происходит поэлементно.
• Функции:
  • в реальном времени: Как только данные попадают в систему, они немедленно обрабатываются, что позволяет системе обрабатывать потоки данных в реальном времени, например, от датчиков, журналов посещений, финансовых транзакций и т. д.
  • Неограниченный поток данных: Потоковая передача данных обычно не ограничена, данные генерируются и обрабатываются непрерывно, и система должна работать непрерывно.
  • низкая задержка: Поскольку данные обрабатываются в режиме реального времени, время ответа системы очень короткое, обычно порядка миллисекунд или секунд.
  • Архитектура: Потоковая системам обработки обычно требуются процессоры, очереди, кэши и другие компоненты для поддержки высокой скорости. пропускная способностьинизкая задержка。

Пакетная обработка

• определение: Пакетная обработка Данные относятся к сбору пакета данных в течение заранее определенного времени и последующей одновременной обработке пакета данных. Данные пакетные обработку, а не рассмотрение их по пунктам.
• Функции:
  • Обработка полных наборов данных: Пакетная обработка обычно выполняется после того, как все данные собраны, что означает, что обрабатываемый набор данных имеет фиксированный размер (например, ежедневные, почасовые данные).
  • Высокая пропускная способность: Поскольку данные могут быть обработаны за один раз, пакетная обработка обычно может обрабатывать большие объемы данных, но имеет длительное время отклика.
  • Архитектура: Пакетная системы обработки обычно используют планировщики、Задачаочередьи数据仓库等组件,Может использовать дисковое пространство во время обработки,вместо того, чтобы полагаться на память.
  • Задерживать: Пакетная обработка обычно не происходит в режиме реального времени, и время обработки может составлять минуты, часы или даже больше.

2. Почему существуют потоки и пакеты?

• в реальном временинуждаться:
  • Потоковая обработка подходит для сценариев обработки данных, требующих ответа в реальном времени.,Например, система мониторинга, торговая система、Данные устройств IoT и т. д.
  • Пакетная обработка подходит для сценариев, не требующих немедленного реагирования, таких как ежедневные бизнес-отчеты, ночная загрузка хранилища данных и т. д.
• Методы обработки данных:
  • существовать Потоковая обработкав системе,Данные обрабатываются по частям небольшими порциями или отдельными записями.,Результаты обработки могут быть выведены немедленно.
  • существовать Пакетная обработкав системе,Данные собираются пакетно,Затем вся партия обрабатывается одновременно.
• система Архитектура:
  • Потоковая системы обработки обычно используют непрерывно работающие конвейеры, по которым данные передаются от одного узла к другому. Проект системы должен учитывать плавный поток данных и реальном времени。
  • Система пакетной обработки ориентирована на задачи.,Задача начинает выполнение в определенный момент времени,После обработки генерируются выходные результаты.

3. Разница между объектами данных памяти и потоками и пакетами

• объект данных в памяти:
  • Будь то Потоковая обработкавсе еще Пакетная обработки данные могут временно сохраняться в памяти во время обработки. Однако как в управлении, так и в использовании этих объектов данных Есть различия в памяти.
  • Использование памяти Потоковой обработкой обычно кратковременно, поскольку данные быстро проходят через узлы обработки данных.
  • Пакетная Использование памяти при обработке может быть более интенсивным из-за необходимости обработки полных пакетов данных в памяти, что может привести к необходимости использования больших ресурсов памяти или частого использования дискового пространства. I/O。

4. Типичные платформы потоковой и пакетной обработки

• Apache NiFi:
  • Поток данных передается от одного процессора к другому, и данные можно обрабатывать, фильтровать, преобразовывать, маршрутизировать и т. д. в любое время. Данные могут представлять собой потоковые данные, которые постоянно поступают, например данные датчиков Интернета вещей.
  • Каждый фрагмент данных будет обработан сразу после поступления в систему. После обработки данные будут переданы на следующий узел обработки. Весь процесс выполняется в режиме реального времени.
• ETLCloud:
  • Данные обычно считываются из источника и загружаются в память в начале задачи.,Затем выполните шаги преобразования определения для пакетной обработки. Например, читать все записи таблицы из базы данных каждый час.,Затем очистите и преобразуйте эти записи,Наконец загрузите его в целевую базу данных.
  • Обработка данных выполняется при выполнении задачи, а все операции преобразования завершаются сразу после подготовки всех данных.
  • Хотя также можно использовать данные Потоковой в реальном времени. обработка, но не специально для Потоковой на раме обработка разработана, больше подходит для потоковой передачи в реальном времени. обработка。

Подвести итог

• Потоковая обработка: акцент в реальном время и постоянство, подходит для обработки неограниченных и непрерывно генерируемых потоков данных. Апач NiFi Посредством «обработки по одному» реализуется обработка потоковых данных в реальном времени.
• Пакетная обработка: Он подчеркивает централизованную обработку фиксированных пакетов данных и подходит для обработки наборов данных с четкими границами. ETLCloud использует «пакетную обработку» для одновременной обработки пакета данных.

Хотя как потоковая, так и пакетная обработка могут обрабатывать объекты данных в памяти, их логика обработки и концепции проектирования различны, и они подходят для разных сценариев приложений.