最新历史版本
:数据同步方案概述 返回文档
编辑时间:
内容长度:图片数:目录数:
修改原因:
1. 概述编辑
数据同步包括定时同步、实时同步两个功能模块。选择使用哪个功能模块，需考虑要进行的数据同步是定时还是实时、增量还是全量等，不同模块的支持情况不同，此外还需要重点关注：数据的来源与去向、待同步的表或库的数量等。
本文为您概要介绍数据同步的支持情况。
2. 数据同步能力编辑
| 维度 | 数据开发 | 数据管道 | |
|---|---|---|---|
| 增量/全量 | 全量 | √ | √ |
| 增量 | √ | √ | |
| 表与库的数量 | 单表同步 | √ | √ |
| 整库同步 | × | √ | |
| 支持的来源与去向数据源 | 数据开发支持的数据源 | 实时同步支持的数据源 | |
| 功能介绍文档 | 数据同步 | 数据管道 | |
3. 数据同步方案编辑
| 更新方式 | 场景 | 方案 | 功能组合 | 示例 | |
|---|---|---|---|---|---|
| 增量更新 | 来源表数据仅存在新增 | 来源表有时间戳 | 若来源表有时间戳，可以使用参数赋值获取目标表时间戳最大值，再使用数据同步获取增量数据做增量更新。 | 参数赋值+数据同步 | 数据增量更新 |
| 来源表无时间戳，但是有唯一标识 | 用使用参数赋值获取目标表内唯一标识，再获取来源表中存在但是目标表中没有的标识对应数据（也就是需要同步至目标表的新增数据），将这部分数据使用数据同步，完成增量更新。 | ||||
| 来源表没有时间戳和唯一标识 | 监听来源表日志，读取到数据的增删改等操作，实时同步至目标表内。 | 数据管道 | 数据管道 | ||
| 全量更新 | 对于需要全量更新的数据，直接使用数据同步清空目标表数据，再写入数据的更新方式即可。 | 数据同步 | 数据同步 | ||
| 比对更新 | 来源表数据存在删除或者修改 | 来源表数据同时存在新增、修改、删除 | 通过「数据比对」+「DB表输出」的组合方式，可完成插入数据、删除数据、更新数据的操作。 | 数据来源表+数据目标表+数据比对+DB表输出 | 数据比对 |
| 来源端存在新增、修改的数据 | 目标端有主键时可设置数据同步-写入方式主键比对策略 | 数据同步 | 数据同步 | ||
| 目标端无主键，则通过「数据比对」+「DB表输出」的组合方式，获取新增、修改数据，并可完成同步新增、修改数据的操作。 | 数据来源表+数据目标表+数据比对+DB表输出 | 数据比对 | |||
| 来源端仅存在修改的数据 | 目标端有主键时可设置数据同步-写入方式主键比对策略 | 数据同步 | 数据同步 | ||
| 目标端无主键，则通过「数据比对」+「DB表输出」的组合方式，获取修改数据，并可完成同步修改数据的操作。 | 数据来源表+数据目标表+数据比对+DB表输出 |