1. Введение

DataX — это инструмент автономной синхронизации для разнородных источников данных, предназначенный для достижения стабильных и эффективных функций синхронизации данных между различными разнородными источниками данных, включая реляционные базы данных (MySQL, Oracle и т. д.), HDFS, Hive, ODPS, HBase, FTP и т. д.

концепция дизайна

Чтобы решить проблему синхронизации разнородных источников данных, DataX превращает сложные каналы синхронизации сетки в звездные каналы передачи данных. DataX служит промежуточной несущей передачи и отвечает за соединение различных источников данных. Когда вам нужно получить доступ к новому источнику данных, вам нужно всего лишь подключить источник данных к DataX, чтобы обеспечить плавную синхронизацию данных с существующим источником данных.

2. Ядро

Схема архитектуры

Базовая архитектура datax 3.0

Основные преимущества

1. Надежный контроль качества данных
2. Богатые функции преобразования данных
3. Точный контроль скорости
4. Мощное синхронное исполнение
5. Надежный механизм отказоустойчивости
6. Повторная попытка на уровне потока

Сравнение с совком

3. Другие

1. Изучите

https://www.jianshu.com/p/f5f0dc99d5ab ***** https://tech.youzan.com/datax-in-action/ https://github.com/alibaba/DataX //Алибаба