历史版本21 :数据同步方案概述 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

为了确保数据的时效性,数据更新变得非常重要。只有数据保持更新,才能持续地应用于业务中。

本文根据用户的数据结构和更新需求,整理了不同场景下 FineDataLink 推荐的更新方案,方便用户更好地进行数据处理和维护。

2. 方案推荐编辑

2.1 来源端存在删除数据

最优方案:「两个表输入+数据比对+表输出」。

详情可参见:数据比对

2.2 来源端不存在删除数据

2.2.1 来源表有时间戳或有唯一标识

场景
推荐方案方案示例
来源表有时间戳若来源表有时间戳,可以使用「参数赋值」获取目标表时间戳最大值,再使用「数据同步」获取增量数据做增量更新参数赋值+数据同步数据增量更新
来源表无时间戳,但是有唯一标识来源表有主键或逻辑主键,但是不能通过时间戳进行增量更新

2.2.2 来源表无时间戳和唯一标识

场景
4.0.18-4.0.28方案4.0.28 及之后方案
来源端存在新增、修改的数据目标端有主键数据同步
目标端无主键

两个表输入+数据比对+表输出

不追求性能:数据同步

追求性能:两个表输入+数据比对+表输出

来源端仅存在新增的数据目标端有主键/目标端无主键

数据同步

来源端仅存在修改的数据目标端有主键数据同步
目标端无主键

两个表输入+数据比对+表输出

不追求性能:数据同步

追求性能:两个表输入+数据比对+表输出