历史版本13 :数据同步方案概述 返回文档
编辑时间:
内容长度:图片数:目录数:
修改原因:
1. 概述编辑
在进行数据处理过程中,为了保证数据的时效性,数据更新就显得至关重要,只有数据有时效,才能被持续的应用在业务中。
本文根据用户的数据结构和更新需求,整理了一些在 FineDataLink 中常用的数据更新方式,方便用户更好的进行数据处理和维护。
本文示例可参见:https://demo.finedatalink.com/ 「左边栏“数据开发”分类>02.场景案例>数据更新专题」
2. 索引编辑
更新方式 | 场景 | 方案 | 功能组合 | 示例 |
---|---|---|---|---|
增量更新 | 来源表有时间戳 | 若来源表有时间戳,可以使用参数赋值获取目标表时间戳最大值,再使用数据同步获取增量数据做增量更新。 | 参数赋值+数据同步 | 数据同步增量更新 |
来源表无时间戳,但是有唯一标识 | 来源表有主键或逻辑主键,但是不能通过时间戳进行增量更新。 | 数据同步增量更新 | ||
来源表没有时间戳和唯一标识 | 监听来源表日志,读取到数据的增删改等操作,实时同步至目标表内。 | 数据管道 | 数据同步增量更新 | |
全量更新 | 对于需要全量更新的数据,直接使用数据同步清空目标表数据,再写入数据的更新方式即可。 | 数据同步 | 数据同步节点 | |
比对更新 | 来源表数据仅新增和修改 | 来源表数据仅新增或者修改,但是不会存在数据删除,此时推荐使用比对更新。 | 数据同步 | 数据同步比对更新 |
来源表数据会新增、修改、删除 | 当来源数据表存在新增修改同时也会有删除的情况:
| 数据同步+数据转换 | 数据同步比对更新 |