1.1 版本

注：未升级到 4.0.18 及之后版本的用户，请参见文档：比对删除

1.2 功能简介

同步数据时，来源表数据会新增、修改、删除，此时如果需要目标表数据也做这些操作，可以通过「数据比对」+「DB表输出」的组合方式，完成增量插入、删除、更新的操作。

注：更多数据定时更新方案详情参见：数据更新专题

2.1 场景模拟

示例数据下载：fsale.xls、fsalecopy.xls

需要定期将 fsale 表中的数据同步到 fsalecopy 表中。

fsalecopy 表中的数据如下图所示：

现在 fsale 表中删除了「甘蔗」和「冻梨」的数据，增加了「葡萄」的数据，更新了「菠萝」的数据。希望将最新数据同步到 fsalecopy 表中去。

2.2 实现思路

「数据比对」算子与「DB表输出」算子组合使用，才能完成目标表的增删改操作。

1）需要先准备两个输入/计算算子，作为来源表和目标表，本文示例准备的是 fsalecopy 表和 fsale 表。

2）「数据比对」算子中，需要设置以下三项：

• 逻辑主键：用于在两张表中识别同一条数据，即通过「逻辑主键」将来源表和目标表的数据对应起来，所以「逻辑主键」的值不建议为空或者相同，本文示例中，「逻辑主键」为 ID。

• 比对字段：用于对比两张表中该字段的差异，若某个字段没有被选择到「比对字段」中，能识别出该字段的增加和删除，但这个字段若存在更新，将不能被识别。基于比较结果会生成标记列 fdl_comparison_type ，该列可以在「DB表输出」算子的字段映射中删除。

• 标识关系：标记列 fdl_comparison_type 的值，用于标记两张表中同一个字段的差异。默认值为：Identical、Changed、Added、Removed，可以自定义标识关系值。

3）「DB表输出」算子中，写入方式选择「插入/更新/删除数据」，可选择逻辑删除还是物理删除。「标识值」需要与「数据比对」算子中的「标识关系」值一一对应。逻辑主键与「数据比对」算子的相同即可，为 ID 。

2.2 设置来源表和目标表

2.2.1 创建任务

创建一个定时任务，将一个「数据转换」节点拖到设计界面。如下图所示：

2.2.2 设置来源表

1）点击「数据转换」节点，将一个「DB表输入」算子拖到数据转换的设计界面，在「节点信息」Tab 下为其重命名为「来源表」。如下图所示：

2）如下图设置数据来源，SQL 语句取出 fsale 表中所有数据。

2.2.3 设置目标表

再添加一个「DB表输入」算子，重命名为「目标表」。SQL 语句取出 fsalecopy 表中所有数据。如下图所示：

2.3 设置数据比对

1）添加一个「数据比对」算子，并使用线条跟它上游的两个「DB表输入」算子相连。如下图所示：

2）「数据比对」算子中，由于来源表和目标表中可以通过 ID 字段进行关联，所以选择 ID 作为逻辑主键；由于来源表和目标表的 sales 字段可以查看两张表的数据差异情况，所以选择 sales 作为比对字段。具体设置如下图所示：

注：「比对源」是自动生成的。

「数据预览」Tab 页如下图所示：

2.4 设置 DB 表输出

1）新增「DB表输出」算子，使用连接线与「数据比对」算子相连。

2）设置「DB表输出」算子，最新数据存到目标表 fsalecopy 中，写入方式选择「插入/更新/删除数据」，写入方式选择「物理删除」，逻辑主键选择 ID ，标识字段选择 fdl_comparison_type ，标识值需要与「数据比对」算子的「标识关系」值一一对应。如下图所示：

3）点击「字段映射」，删除目标表字段 fdl_comparison_type 。如下图所示：

4）点击右上角「保存」按钮。

2.5 运行任务

点击右上角「保存并运行」，日志出现执行成功信息表示任务成功运行。如下图所示：

可以看到 fsalecopy 表与 fsale 表数据保持一致。如下图所示：

各设置项介绍如下表所示：