应用数据源-回溯周期

1.1 应用场景

从云端应用系统接口取数时，上游平台（如领星）可能早期数据不完整，或部分字段值变更但修改时间不变更。

表增量更新仅能同步断点时刻后的数据，所以同步后仍无法更新历史数据。

1.2 实现思路

部分表可以配置回溯周期，若回溯周期=3，则从上次断点时刻往前推 3 天开始同步。根据主键，新数据会覆盖旧数据，即可修正历史数据。

1.3 注意事项

• 仅部分应用数据源的部分表支持配置回溯周期；

• 回溯周期同步时并不会删除历史数据，而是根据主键新数据覆盖旧数据；

• 若上游平台删除了数据行，使用回溯周期配置无法同步删除已入库数据。需要先删除本地数据库中指定时间范围内的历史数据，再重新同步该时间段内的上游数据。详情请参见：同步删除入库历史数据

编辑数据连接，在更多配置中，配置表的回溯周期。如下图所示：

再运行定时管道任务，从上次断点时刻往前推 5 天开始同步，修正历史数据。如下图所示：