1. 概述
数据同步包括定时同步、实时同步两个功能模块。选择使用哪个功能模块,需考虑要进行的数据同步是定时还是实时、增量还是全量等,不同模块的支持情况不同,此外还需要重点关注:数据的来源与去向、待同步的表或库的数量等。
本文为您概要介绍数据同步的支持情况。
2. 数据同步能力
维度 | 数据开发 | 数据管道 | |
---|---|---|---|
增量/全量 | 全量 | √ | √ |
增量 | √ | √ | |
表与库的数量 | 单表同步 | √ | √ |
整库同步 | × | √ | |
支持的来源与去向数据源 | 数据开发支持的数据源 | 实时同步支持的数据源 | |
功能介绍文档 | 数据同步 | 数据管道 |
3. 数据同步方案
更新方式 | 场景 | 方案 | 功能组合 | 示例 | |
---|---|---|---|---|---|
定时增量更新 | 来源表数据仅存在新增 | 来源表有时间戳 | 若来源表有时间戳,可以使用「参数赋值」节点获取目标表时间戳最大值,再使用「数据同步」节点获取增量数据做增量更新 | 参数赋值+数据同步 | 数据增量更新 |
来源表无时间戳,但是有唯一标识 | 用使用「参数赋值」节点获取目标表内唯一标识,再获取来源表中存在但是目标表中没有的标识对应数据(也就是需要同步至目标表的新增数据),将这部分数据使用「数据同步」节点,完成增量更新 | ||||
定时全量更新 | 将目标表数据全部替换为来源表数据 | 写入方式选择「清空目标表,再写入数据」即可 | 数据同步 | 数据同步 | |
定时比对更新 | 来源表数据存在删除或者修改 | 来源表数据变化,存在删除操作 | 通过「数据比对」+「DB表输出」的组合方式,可完成插入数据、删除数据、更新数据的操作。 | 数据来源表+数据目标表+数据比对+DB表输出 | 数据比对 |
高效率 结合时间戳、业务时间等进行增量同步 | 参数赋值、数据比对、SQL脚本 | 增删改数据同步(高效率) | |||
来源端存在新增、修改的数据 | 目标端有主键时可设置数据同步-写入方式主键比对策略 | 数据同步 | 数据同步 | ||
目标端无主键,则通过「数据比对」+「DB表输出」的组合方式,获取新增、修改数据,并可完成同步新增、修改数据的操作。 | 数据来源表+数据目标表+数据比对+DB表输出 | 数据比对 | |||
来源端仅存在修改的数据 | 目标端有主键时可设置数据同步-写入方式主键比对策略 | 数据同步 | 数据同步 | ||
目标端无主键,则通过「数据比对」+「DB表输出」的组合方式,获取修改数据,并可完成同步修改数据的操作。 | 数据来源表+数据目标表+数据比对+DB表输出 | ||||
数据增删改变化实时同步到目标表中 | 使用数据管道功能 | 数据管道概述 |
内容扩展:
4.0.28 及之后版本,若用户为以下场景时(来源表和目标表都不是简道云数据):
没有标识字段,希望将筛选出的数据,做追加或者更新或者删除操作(无标识字段时仅允许选择一种操作类型)。
数据已经有了标识字段和标识值,需要对数据进行追加/更新/删除操作。
可通过「数据同步」节点实现,详情请参见:数据同步-基于标识字段,追加/更新/删除数据