用户存在多个业务系统的表数据,这些表数据中存在相同字段或相同含义的字段,需要将不同的来源数据上下合并到一个表输出。用户目前使用「Spark SQL」算子实现,比较繁琐,希望能无代码实现。
新增「上下合并」算子,可对多张表进行上下行合并,输出一张合并表。如下图所示:
注:「上下合并」算子可手动匹配相同含义的字段进行拼接,并不要求匹配字段完全一致。
示例表数据下载:签约表示例数据.zip
某公司存在两张签约数据表,希望能将数据合并到一张表中方便后续分析。
1)新建定时任务,拖入「数据转换」节点,进入「数据转换」节点。
2)拖入「DB表输入」算子,读取「签约表-北京」数据。如下图所示:
2)再拖入一个「DB表输入」算子,读取「签约表-上海」数据。如下图所示:
1)拖入「上下合并」算子,与两个「DB表输入」连接。如下图所示:
2)此时「上下合并」算子设置界面如下图所示:
合并方式选择「合并去重」,不保留不同合并表中的重复记录。
FDL 会自动匹配一致的字段,字段若不一致,需要将相同含义的字段进行手动匹配。第三行中,合同总价列,选择合同总价(人民币)字段;销售地区列,选择签约地区。最后效果如下图所示:
3)点击「数据预览」,如下图所示:
1)拖入「DB表输出」算子,将合并后的数据输出。如下图所示:
2)点击右上角「保存」按钮。
点击「保存并运行」按钮,运行成功后,如下图所示:
数据库表数据如下图所示:
「上下合并」算子设置界面如下图所示:
可选择合并去重、合并不去重
合并去重:不同合并表有重复记录,仅保留一条记录,其余不保留
合并不去重:在合并表时,保留两张表的所有记录
同名映射:字段名相同字段进行匹配,支持模糊匹配;逻辑与「数据同步」节点字段映射(同名映射)逻辑相同
顺序映射:按照合并表的字段顺序进行映射,逻辑与「数据同步」节点字段映射(同行映射)逻辑相同
字段映射中,若有表无对应字段映射,则默认为空
数据预览对应表数据为 null 值
「合并结果」行中,可修改合并后字段名称
注:字段映射中不支持显示、修改字段类型,用户可在「上下合并」算子后接一个「字段设置」算子,修改字段类型
字段下拉框可选择字段,手动匹配字段映射;字段下拉框可选择空
修改映射后,将自动刷新映射结果
点击即可刷新,还原到原始配置
「数据预览」Tab 页中,默认预览前 1000 条数据,每页默认 20 条数据。
用户若希望两个相同名称的字段在上下合并时不合并,手动修改映射,将某张合并表的字段改为空即可。如下图所示:
滑鼠選中內容,快速回饋問題
滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。
不再提示
10s後關閉
Submitted successfully
Network busy