1.1 版本说明

1.2 应用场景

企业在在构建数仓和中间库时，由于业务数据量级较大，如果使用数据同步批量定时同步数据很难做到高性能的增量同步，若使用清空目标表再写入数据的方式时，还会面临目标表一段时间不可用、耗时长等问题。希望能在数据库数据量大或表结构规范的情况下，实现高性能地数据增量同步。

1.3 功能说明

FineDataLink 支持对数据源组成同步链路进行单表、多表或整库数据的实时增量同步，可以根据数据源适配情况，配置实时同步任务。

本文介绍如何实现单表、多表、整库实时同步

1.4 使用限制

当前仅支持 MYSQL 5.6及以上的非只读数据库。

全量+增量同步：先对所有存量数据完成同步，随后持续同步新增的变化数据（增/删/改）。

提供数据实时同步的基础功能，支持MySQL Binlog，使有MySQL实时同步需求的客户可以完成功能的基础使用闭环（依赖数据管道任务管理功能）；

2）支持变化数据同步（DML）；

3）允许存在脏数据，并提供阈值提醒功能（在任务运行监控里提供导出），使实时数据同步具有容错性；

4）结构清晰，操作和配置简单易用，所有用户均能快速上手。

• 由实时同步对 MySQL 数据库的读取方式为 Binlog ，因此需要提前对数据库开启 Binlog，示例如下图：

• 已完成数据源配置。需要在使用数据管道进行实时同步任务配置前，配置好需要同步的源端和目标端数据库，以便在同步任务配置过程中，通过选择数据源名称来控制同步任务，详情参见：配置数据连接

3. 操作步骤

示例将 test_1 数据库中的 S订单数据表实时同步至 test_2 数据库中。

3.1 配置传输队列

配置传输队列，其实就是配置暂存来源库数据，方便目标库写入数据的「数据管道」，目前是通过 Kafka 实现的。

详情参见：配置传输队列

3.2 选择数据来源

首先选择需要数据同步的来源数据。

点击「数据管道>新建任务」，进入任务设置界面，选择来源数据库以及需要进行数据同步的数据表，当然也可以选择多个数据库下的数据表，默认读取方式为 Binlog，默认先对所有存量数据同步，然后持续同步新增变化，如下图所示：

注1：单个任务限制最多选取 5000 张表，达到限制时不允许新增选择。

注2：读取对象只支持选择数据库表，不支持选择视图。

注3：当前只支持数据变化（DML）同步，不考虑支持结构变化（DDL）同步。

将已经存在的「S订单」数据表选到「要同步的表」中，如下图所示：

3.3 选择数据去向

然后选定需要同步至的目标数据库位置。

点击下一步进入「选择去向」界面，选定目标数据库，如下图所示：

若目标数据表数据结构和来源表一致：首次数据同步会清空目标数据表数据，然后全量同步数据，此后增量同步。

若目标数据库没有和来源表一样的数据标，则直接在目标数据库新建数据表。

注：当前版本不支持DDL同步，若目标数据表数据结构和来源表不一致，写入目标数据库中的策略如下所示：

3.4 设置表字段映射

点击下一步进入字段映射设置界面。