历史版本22 :数据同步方案概述 返回文档
编辑时间:
内容长度:图片数:目录数:
修改原因:
1. 概述编辑
数据同步包括定时同步、实时同步两个功能模块。选择使用哪个功能模块，需考虑要进行的数据同步是定时还是实时、增量还是全量等，不同模块的支持情况不同，此外还需要重点关注：数据的来源与去向、待同步的表或库的数量等。
本文为您概要介绍数据同步的支持情况。
2. 数据同步能力编辑
| 维度 | 定时同步 | 实时同步 | |
|---|---|---|---|
| 增量/全量 | 全量 | √ | ×存量+增量同步 |
| 增量 | √ | √ | |
| 表与库的数量 | 单表 （单表>单表） | √ | √ |
| 整库 （多表>多表） | √ | √ | |
| 分库分表 （多表>单表） | × | × | |
| 分库分表 （单表>多表） | √ | × | |
| 支持的来源与去向数据源 | 数据开发支持的数据源 | 实时同步支持的数据源 | |
| 功能介绍文档 | 数据同步 | 数据管道 | |
3. 定时任务数据同步方案编辑
2.1 来源端存在删除数据
最优方案：「两个表输入+数据比对+表输出」。
详情可参见：数据比对
2.2 来源端不存在删除数据
2.2.1 来源表有时间戳或有唯一标识
| 场景 | 推荐方案 | 方案示例 | |
|---|---|---|---|
| 来源表有时间戳 | 若来源表有时间戳，可以使用「参数赋值」获取目标表时间戳最大值，再使用「数据同步」获取增量数据做增量更新 | 参数赋值+数据同步 | 数据增量更新 |
| 来源表无时间戳，但是有唯一标识 | 来源表有主键或逻辑主键，但是不能通过时间戳进行增量更新 | ||
2.2.2 来源表无时间戳和唯一标识
| 场景 | 4.0.18-4.0.28方案 | 4.0.28 及之后方案 | |
|---|---|---|---|
| 来源端存在新增、修改的数据 | 目标端有主键 | 数据同步 | |
| 目标端无主键 | 不追求性能：数据同步 追求性能：两个表输入+数据比对+表输出 | ||
| 来源端仅存在新增的数据 | 目标端有主键/目标端无主键 | ||
| 来源端仅存在修改的数据 | 目标端有主键 | 数据同步 | |
| 目标端无主键 | 不追求性能：数据同步 追求性能：两个表输入+数据比对+表输出 | ||