1. 概述编辑
1.1 应用场景
企业在构建数仓和中间库时,由于业务数据量级较大,如果使用 数据同步 批量定时同步数据很难做到高性能的增量同步,若使用清空目标表再写入数据的方式时,还会面临目标表一段时间不可用、抽取耗时长等问题。
因此希望能在数据库数据量大或表结构规范的情况下,实现高性能的实时数据同步。
1.2 功能说明
支持对数据源进行单表、多表、整库数据的实时全量和增量同步,可以根据数据源适配情况,配置实时同步任务。如下图所示:

1.3 实现原理
FDL 监听数据管道来源端的数据库日志变化,利用 Kafka 作为数据同步中间件,暂存来源数据库的增量部分,进而实现向目标端实时写入数据的效果。

1.4 断点续传功能说明
若管道任务失败,支持断点续传:若全量同步未完成,会从头全量同步;若全量同步已完成,会从断点开始。
断点续传示例:
管道任务在 03-21 日读取了数据,03-23 日停掉,03-27 日启动,03-23 到 03-27 日的数据会同步过去。
1.5 数据管道与数据开发的区别
详情请参见:数据管道与数据开发区别
1.6 数据管道并发数说明
请参见:数据管道运维指导
2. 功能概述编辑

| 功能 | 描述 |
|---|---|
| 多种数据源间的数据同步 | 实时同步支持多种数据源,可以将多种来源端及目标端数据源搭配组成同步链路进行数据实时同步 数据管道支持的数据源请参见:数据管道支持的数据源类型 |
| 数据同步场景 | 1)支持对数据源进行单表、多表、整库数据的实时全量和增量同步:
2)同步类型为:
|
| 实时数据同步任务配置 | 实时同步任务配置无需编写代码,通过简单的任务配置即可实现单表、整库实时数据的同步 1)设置目标端:
关于实时同步各目标端支持的DDL操作详情请参见:同步源表结构变化
2)设置字段映射:
3)设置管道控制:
|
| 实时同步任务运维 | 支持对同步任务进行监控,详情请参见:管道任务运维
4.1.6.3 及之后版本,管道任务禁止被多人同时编辑。详情请参见:任务禁止被多人同时编辑 |

