1. 概述编辑
1.1 版本
| FineDataLink 版本 | 功能变动 |
|---|---|
| 3.3 | 「数据转换」节点新增算子「比对删除」，可将来源表中删除数据的操作同步到目标表 |
| 4.0.18 |
|
| 4.0.20 | 新增「比对表返回字段」选项，可选项为比对表的所有字段。一般在当「数据比对」算子连接的比对表算子类型为「简道云输入」算子时，才会设置该选项 |
注：未升级到 4.0.18 及之后版本的用户，请参见文档：比对删除
1.2 应用场景
某公司CIO办公室使用数据驾驶舱大屏，驾驶舱大屏中数据会每天半小时更新一次，为保证数据大屏加载的性能，客户需要使用数据处理工具将来源数据加工成结果表，再供大屏使用；
由于我们使用「清空目标表，再写入数据」的方式，会导致结果表间接性数据为空，大屏加载失败的问题，所以我们需要使用「比对更新」的方式完成数据更新。
1.3 功能简介
同步数据时，来源表数据会新增、修改、删除，此时如果需要目标表数据也做这些操作，可以通过「数据比对」+「DB表输出」的组合方式，完成增量插入、删除、更新的操作。
注：更多数据定时更新方案详情参见：数据更新专题
2. 示例编辑
2.1 场景模拟
示例数据下载：fsale.xls、fsalecopy.xls
需要定期将 fsale 表中的数据同步到 fsalecopy 表中。
fsalecopy 表中的数据如下图所示：
现在 fsale 表中删除了「甘蔗」和「冻梨」的数据，增加了「葡萄」的数据，更新了「菠萝」的数据。希望将最新数据同步到 fsalecopy 表中去。
2.2 设置来源表和目标表
2.2.1 创建任务
创建一个定时任务，将一个「数据转换」节点拖到设计界面。如下图所示：
2.2.2 设置来源表
1）点击「数据转换」节点，将一个「DB表输入」算子拖到数据转换的设计界面，在「节点信息」Tab 下为其重命名为「来源表」。如下图所示：
2）如下图设置数据来源，SQL 语句取出 fsale 表中所有数据。
2.2.3 设置目标表
与 3.2.2 节步骤类似。
再添加一个「DB表输入」算子，重命名为「目标表」。SQL 语句取出 fsalecopy 表中所有数据。如下图所示：
2.3 设置数据比对
1）添加一个「数据比对」算子，并使用线条跟它上游的两个「DB表输入」算子相连。如下图所示：
2）「数据比对」算子中，由于来源表和目标表中可以通过 ID 字段进行关联，所以选择 ID 作为逻辑主键；由于来源表和目标表的 sales 字段可以查看两张表的数据差异情况，所以选择 sales 作为比对字段，具体设置如下图所示：
注：「比对源」是自动生成的。
各设置项介绍如下表所示：
| 设置项 | 说明 | 备注 |
|---|---|---|
| 比对源 |
|
|
| 逻辑主键 | 逻辑主键用来使来源表和目标表的数据对应起来，以此判断数据是否有增删改 | 逻辑主键的值不建议为空或者相同 |
| 比对字段 | 若某个字段没有被选择到「比对字段」中，这个字段若存在更新，将不能被识别 | 「比对字段」配置可以为空：
|
| 标识关系 | 默认新增标记列，列名为 fdl_comparison_type，值默认为四种：
注：若用户目标表中不想显示 fdl_comparison_type 字段，可设置删除该字段。本文示例是在「DB表输出」算子的「字段映射」Tab 中删除的 | 支持用户自定义 4 种标记值，但是 FDL 程序需要能自动映射。 例如： 例如针对比对更新场景，支持用户将 Identical 改成 same ，Changed 改成 diff ，Added 改成 add，Removed 改成 delete，但是程序能够识别这种映射关系，并且在后续的DB 表输出能够自动填充 （即数据比对中，标识关系上输入的值与DB表输出中的标识值一致即可） |
| 比对表返回字段 | 1）可选项为比对表的所有字段，一般情况下默认为空 2）当「数据比对」算子连接的比对表算子类型为简道云输入时，需要设置比对表返回字段的值为_id 3）遇到同名字段时，比对表返回字段下拉时对重名字段名后缀自动加1，格式为：column1、column2、column3，重名新增后缀的逻辑同数据关联算子 使用场景请参见：简道云输出 | |
「数据预览」Tab 页如下图所示：
注：「数据预览」Tab 中，预览时只会取前 5000 行数据。如果来源表前 5000 行数据中的某些数据，在目标表的 5000 行数据之后存在，在「数据预览」Tab 中，标记列对应的值将会是 Added，但实际上应该是 Identical。但「数据比对」算子运行时，是比对所有数据的，用户无需担心，「数据预览」Tab 未全量读取数据的问题，产品未来考虑优化。
2.4 设置 DB 表输出
1）新增「DB表输出」算子，使用连接线与「数据比对」算子相连。
2）设置「DB表输出」算子：最新数据存到目标表 fsalecopy 中，写入方式选择「插入/更新/删除数据」，写入方式选择「物理删除」，逻辑主键选择 ID ，标识字段与标识值如下图所示：
3）点击「字段映射」，删除目标表字段 fdl_comparison_type 。如下图所示：
4）点击右上角「保存」按钮。
2.5 运行任务
点击右上角「保存并运行」，日志出现执行成功信息表示任务成功运行。如下图所示：
可以看到 fsalecopy 表与 fsale 表数据保持一致。如下图所示：
