1. 概述编辑
1.1 版本
FineDataLink 版本 | 功能变动 |
---|---|
3.3 | 「数据转换」节点新增算子「比对删除」,可将来源表中删除数据的操作同步到目标表 |
4.0.18 |
|
4.0.20 | 新增「比对表返回字段」选项,可选项为比对表的所有字段。一般在当「数据比对」算子连接的比对表算子类型为「简道云输入」算子时,才会设置该选项 |
注:未升级到 4.0.18 及之后版本的用户,请参见文档:比对删除
1.2 应用场景
某公司CIO办公室使用数据驾驶舱大屏,驾驶舱大屏中数据会每天半小时更新一次,为保证数据大屏加载的性能,客户需要使用数据处理工具将来源数据加工成结果表,再供大屏使用;
由于我们使用「清空目标表,再写入数据」的方式,会导致结果表间接性数据为空,大屏加载失败的问题,所以我们需要使用「比对更新」的方式完成数据更新。
1.3 功能简介
同步数据时,来源表数据会新增、修改、删除,此时如果需要目标表数据也做这些操作,可以通过「数据比对」+「DB表输出」的组合方式,完成增量插入、删除、更新的操作。
注:更多数据定时更新方案详情参见:数据更新专题
2. 示例编辑
2.1 场景模拟
示例数据下载:fsale.xls、fsalecopy.xls
需要定期将 fsale 表中的数据同步到 fsalecopy 表中。
fsalecopy 表中的数据如下图所示:
现在 fsale 表中删除了「甘蔗」和「冻梨」的数据,增加了「葡萄」的数据,更新了「菠萝」的数据。希望将最新数据同步到 fsalecopy 表中去。
2.2 设置来源表和目标表
2.2.1 创建任务
创建一个定时任务,将一个「数据转换」节点拖到设计界面。如下图所示:
2.2.2 设置来源表
1)点击「数据转换」节点,将一个「DB表输入」算子拖到数据转换的设计界面,在「节点信息」Tab 下为其重命名为「来源表」。如下图所示:
2)如下图设置数据来源,SQL 语句取出 fsale 表中所有数据。
2.2.3 设置目标表
与 3.2.2 节步骤类似。
再添加一个「DB表输入」算子,重命名为「目标表」。SQL 语句取出 fsalecopy 表中所有数据。如下图所示:
2.3 设置数据比对
1)添加一个「数据比对」算子,并使用线条跟它上游的两个「DB表输入」算子相连。如下图所示:
2)「数据比对」算子中,由于来源表和目标表中可以通过 ID 字段进行关联,所以选择 ID 作为逻辑主键;由于来源表和目标表的 sales 字段可以查看两张表的数据差异情况,所以选择 sales 作为比对字段,具体设置如下图所示:
注:「比对源」是自动生成的。
各设置项介绍如下表所示:
设置项 | 说明 | 备注 |
---|---|---|
比对源 |
|
|
逻辑主键 | 需要选择左右两表的关联字段 | - |
比对字段 | 基于选定的「逻辑主键」,再选择两表的比对字段,用于进行数据比对和标识列「fdl_comparison_type」内容标记 | 「比对字段」配置可以为空:
|
标识关系 | 默认新增标记列,列名为 fdl_comparison_type,值默认为四种:
| 支持用户自定义 4 种标记值,但是 FDL 程序需要能自动映射。 例如: 例如针对比对更新场景,支持用户将 Identical 改成 same ,Changed 改成 diff ,Added 改成 add,Removed 改成 delete,但是程序能够识别这种映射关系,并且在后续的DB 表输出能够自动填充 (即数据比对中,标识关系上输入的值与DB表输出中的标识值一致即可) |
比对表返回字段 | 1)可选项为比对表的所有字段,一般情况下默认为空 2)当「数据比对」算子连接的比对表算子类型为简道云输入时,默认勾选比对表返回字段的值为_id 3)遇到同名字段时,比对表返回字段下拉时对重名字段名后缀自动加1,格式为:column1、column2、column3,重名新增后缀的逻辑同数据关联算子 使用场景请参见:简道云输出 |
「数据预览」Tab 页如下图所示:
注:「数据预览」Tab 中,预览时只会取前 5000 行数据。如果来源表前 5000 行数据中的某些数据,在目标表的 5000 行数据之后存在,在「数据预览」Tab 中,标记列对应的值将会是 Added,但实际上应该是 Identical。但「数据比对」算子运行时,是比对所有数据的,用户无需担心,「数据预览」Tab 未全量读取数据的问题,产品未来考虑优化。
2.4 设置 DB 表输出
1)新增「DB表输出」算子,使用连接线与「数据比对」算子相连。
2)设置「DB表输出」算子:最新数据存到目标表 fsalecopy 中,写入方式选择「插入/更新/删除数据」,写入方式选择「物理删除」,逻辑主键选择 ID ,标识字段与标识值如下图所示:
3)点击「字段映射」,删除目标表字段 fdl_comparison_type 。如下图所示:
4)点击右上角「保存」按钮。
2.5 运行任务
点击右上角「保存并运行」,日志出现执行成功信息表示任务成功运行。如下图所示:
可以看到 fsalecopy 表与 fsale 表数据保持一致。如下图所示: