数据比对功能说明 文档中介绍了「数据比对」算子的功能,本文以一个简单示例介绍该算子的使用。
示例数据下载:fsale.xls、fsalecopy.xls
需要定期将 fsale 表中的数据同步到 fsalecopy 表中。
fsalecopy 表中的数据如下图所示:
现在 fsale 表中删除了「甘蔗」和「冻梨」的数据,增加了「葡萄」的数据,更新了「菠萝」的数据。希望将最新数据同步到 fsalecopy 表中去。
本节取出来源表和目标表的数据,方便后续在「数据比对」算子中通过比对标记出增删改的数据。
需注意的是,2 个输入/计算算子谁在位置上方,即为来源表。因此,本文示例中取出 fsale 表数据的算子位置在上方,使用 fsale 表数据比对 fsalecopy 表数据。
创建一个定时任务,将一个「数据转换」节点拖到设计界面。如下图所示:
1)点击「数据转换」节点,将一个「DB表输入」算子拖到数据转换的设计界面,在「节点信息」Tab 下为其重命名为「来源表」。如下图所示:
2)如下图设置数据来源,SQL 语句取出 fsale 表中所有数据。
再添加一个「DB表输入」算子,重命名为「目标表」。SQL 语句取出 fsalecopy 表中所有数据。如下图所示:
1)添加一个「数据比对」算子,并使用线条跟它上游的两个「DB表输入」算子相连。如下图所示:
2)「数据比对」算子中,设置逻辑主键、比对字段即可。如下图所示:
各设置项介绍如下表所示:
用于对比两张表中该字段的差异,基于比较结果会自动生成标记列 fdl_comparison_type ,该列可以在「DB表输出」算子的「字段映射」中删除
若某个字段被设置为比对字段:可以识别出该字段对应数据的新增、更新、删除
若某个字段没有被设置为比对字段:能识别出该字段的增加和删除,但这个字段若存在更新,将不能被识别
2)当「数据比对」算子连接的比对表算子类型为 简道云输入 时,需要设置比对表返回字段的值为_id
使用场景请参见:简道云输出
「数据预览」Tab 页如下图所示:
1)新增「DB表输出」算子,使用连接线与「数据比对」算子相连。
2)设置「DB表输出」算子,最新数据存到目标表 fsalecopy 中,写入方式选择「插入/更新/删除数据」,写入方式选择「物理删除」,逻辑主键选择 ID ,标识字段选择 fdl_comparison_type ,标识值需要与「数据比对」算子的「标识关系」值一一对应。如下图所示:
3)点击「字段映射」,删除目标表字段 fdl_comparison_type 。如下图所示:
4)点击右上角「保存」按钮。
点击右上角「保存并运行」,日志出现执行成功信息表示任务成功运行。如下图所示:
可以看到 fsalecopy 表与 fsale 表数据保持一致。如下图所示:
滑鼠選中內容,快速回饋問題
滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。
不再提示
10s後關閉
Submitted successfully
Network busy