历史版本21 :数据同步方案概述 返回文档
编辑时间:
内容长度:图片数:目录数:
修改原因:
1. 概述编辑
为了确保数据的时效性,数据更新变得非常重要。只有数据保持更新,才能持续地应用于业务中。
本文根据用户的数据结构和更新需求,整理了不同场景下 FineDataLink 推荐的更新方案,方便用户更好地进行数据处理和维护。
2. 方案推荐编辑
2.1 来源端存在删除数据
最优方案:「两个表输入+数据比对+表输出」。
详情可参见:数据比对
2.2 来源端不存在删除数据
2.2.1 来源表有时间戳或有唯一标识
场景 | 推荐方案 | 方案示例 | |
---|---|---|---|
来源表有时间戳 | 若来源表有时间戳,可以使用「参数赋值」获取目标表时间戳最大值,再使用「数据同步」获取增量数据做增量更新 | 参数赋值+数据同步 | 数据增量更新 |
来源表无时间戳,但是有唯一标识 | 来源表有主键或逻辑主键,但是不能通过时间戳进行增量更新 |
2.2.2 来源表无时间戳和唯一标识
场景 | 4.0.18-4.0.28方案 | 4.0.28 及之后方案 | |
---|---|---|---|
来源端存在新增、修改的数据 | 目标端有主键 | 数据同步 | |
目标端无主键 | 不追求性能:数据同步 追求性能:两个表输入+数据比对+表输出 | ||
来源端仅存在新增的数据 | 目标端有主键/目标端无主键 | ||
来源端仅存在修改的数据 | 目标端有主键 | 数据同步 | |
目标端无主键 | 不追求性能:数据同步 追求性能:两个表输入+数据比对+表输出 |