实时同步支持多种数据源，可以将多种来源端及目标端数据源搭配组成同步链路进行数据实时同步。

详情请参见本文第五节。

支持对数据源进行单表、多表、整库数据的实时全量和增量同步。

• 单表数据实时同步：支持单表实时同步。

• 整库数据实时同步：支持一次性配置一个实例下多个库的多个表，单个任务限制最多选取 5000 张表，达到限制时不允许新增选择。

同步类型为

• 存量+增量同步：先对所有存量数据完成同步，随后持续同步新增的变化数据（增/删/改）

• 增量：任务仅包含增量阶段，任务初次运行时，将按照配置的起始时间开始进行增量同步。
  

实时同步任务配置无需编写代码，通过简单的任务配置即可实现单表、整库实时数据的同步。详情请参见：配置数据管道任务

1）设置目标端：

• 支持在目标端自动新建同步数据表、同时也可以选择目标端数据库已有数据表进行数据同步。

• 来源数据源会包含许多DDL操作，进行实时同步时，开启相关选项后，在源库发生DDL（删除表、新增字段、删除字段、修改字段名称、修改字段类型（长度修改 & 兼容类型修改））时，管道任务可以自动同步这些来源端变化至目标端，不需人为介入修改目标表结构。

关于实时同步各目标端支持的DDL操作详情请参见：同步源表结构变化。

• 支持逻辑删除数据和显示数据存储入库时间戳    注：GaussDB数据库及PostgreSQL9.4以下（含9.4）版本数据库，不支持「目标端执行逻辑删除」。

• 支持断点续传。

2）设置字段映射：

• 支持调整字段映射方式以及目标数据库数据表的字段类型和字段顺序，默认同名映射。

3）设置管道控制：

• 支持设置脏数据阈值，当异常或脏数据导致的任务中止会进行通知      注：限制最多10w行，且重启任务后，会重置阈值统计

支持对同步任务进行监控，详情请参见：管道任务运维。

• 支持对任务运行状态、同步数据量等进行监控。

• 并通过邮件、短信、电话和钉钉等方式将报警信息发送给报警接收人，方便您及时发现并处理任务异常。

根据实际情况选择源端和目标端数据库，数据管道支持的数据库请参见：数据管道支持的数据源类型

在数据连接管理中配置源端和目标端的数据连接，便于在管道任务配置过程中，通过选择数据源名称来控制同步任务的读取和写入数据库。详情请参见：配置数据连接

基于需要设置数据管道任务的数据源，授予数据源配置的账号在数据库进行相应操作的权限。详情请参见：数据库环境准备概述

部署 Kafka 开源流处理平台作为中间件。详情请参见：部署Kafka、配置传输队列

若需要使用数据管道的用户不是超级管理员，则需要为对应用户分配数据管道的使用权限。详情请参见：管道任务管理权限

步骤五：配置数据管道任务

详情请参见：配置数据管道任务