
产品注册版本为「v5.0共创版」时,才能使用数据开发-实时任务:
1) 如需申请免费试用或增购功能点,请填写链接:实时任务意向使用申请表
2) 如需了解更多实时任务详细信息,可联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1. 概述
1.1 版本
FineDataLink 版本 | 功能变动 |
---|---|
5.0.1.5 | 新增「数据合并」节点,可对多张表进行行合并,输出一张合并表 |
1.2 应用场景
用户拥有多个工厂,每个工厂的生产订单数据分散在不同的数据库和表中。现需将这些结构相同但分布在不同库表的数据实时同步到数据仓库,以便进行统一的数据分析和业务决策。
1.3 功能简介
新增「数据合并」节点,可合并多张表的行数据,输出为一张表。如下图所示:
2. 操作步骤
2.1 场景模拟
用户 MySQL 数据库中有两张结构相同的表,想将这两张表的行数据合并后,实时同步到目标表中。如下图所示:
2.2 读取来源表数据
1)新建实时任务。
2)拖入两个「CDC输入」节点,读取来源表数据。如下图所示:
注:数据合并节点前,需要连接至少两个前置节点;前置节点不能包含「维度表输入」。
2.3 合并表数据行
1)拖入「数据合并」节点,与两个「CDC输入」连接。
2)此时「数据合并」节点设置界面如下图所示:
FDL 会自动匹配一致的字段,字段若不一致,需要将相同含义的字段进行手动匹配。
点击「数据预览」,合并后的数据如下图所示:
设置项 | 说明 |
---|---|
合并方式 | 只能选择「合并不去重」 |
映射方式 | 支持同名映射、顺序映射 |
2.4 后续步骤
用户可继续处理数据,或者后接输出节点将数据输出。