历史版本2 :来源表数据增删改同步至目标表 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 预期效果

数据库中存在两张表,其中数据来源表每天会更新、删除、新增。希望数据来源表数据变化后,目标表也随之更新,与数据来源表的数据保持一致。

1.2 实现思路

  • 通过数据同步节点,实现目标表中数据的新增、更新。

  • 通过比对删除算子,使目标表与数据来源表删除一样的数据。

2. 示例编辑

2.1 数据准备

1)目标表

etlwendy 数据库中,有张「目标表」。表信息如下图所示:

1650436598716424.png

2)数据来源表

etlhuahua 数据库中,有张数据来源表「出入库信息」,昨天新增两条数据,删除序号为 6 的数据,序号为 7 的数据「出库数量」变为 102 。表信息如下图所示:

1650441864482378.png

现在希望,目标表数据定时更新,与数据来源表保持一致。

2.2 设置数据同步节点

1)新建一个 ETL 任务,将一个「数据同步」节点拖到设计界面,并对该节点进行设置。如下图所示:

44.png

2)对数据去向Tab 页进行设置。如下图所示:

该步骤目的:通过对比目标表和数据来源表中的序号字段,将数据来源表中新增和更新的数据更新到目标表中。

45.png

2.3 新增数据转换节点

本节步骤目的:通过数据转换节点中的比对删除算子,使目标表与数据来源表删除一样的数据。

1)将一个「数据转换」节点拖到设计界面,并与「数据同步节点相连。如下图所示:

46.png

2)点击「数据转换」节点进入设置页面,添加「DB表输入算子。如下图所示:

47.png

3)再添加一个比对删除算子,与「DB表输入算子相连。比对删除算子设置界面如下图所示:

48.png

4)点击右上角确定按钮。如下图所示:

49.png

2.4 设置定时更新

1)点击调度配置,设置任务定时执行时间。如下图所示:

注:用户根据实际情况设置执行时间。

50.png

2)点击右上角保存按钮。

2.5 任务结果

任务执行后,目标表数据如下图所示:

1650444054524333.png