1. 概述编辑
1.1 版本说明
FineDataLink 版本 | 功能变动 |
---|---|
3.1 | 新增节点「数据转换」,可实现数据跨库关联 |
3.5 | 「数据转换」节点新增算子「行列转换」 |
3.5.1 | 「数据转换」节点新增算子「JSON解析」 |
3.6.2 | 「数据转换」节点新增算子「Spark SQL」 |
3.7 |
|
4.0.1 | 「DB表输出」算子的「数据去向」Tab中若选择「自动建表」,「字段映射」Tab下修改表字段展示顺序的方式,从点击调整字段顺序调整为拖拽调整字段顺序,详情参见本文 3.1 节 |
4.0.2 | 数据转换有内容更改,点击取消时,给出浮窗确认,详情请参见本文 3.2 节 |
4.0.2.1 | 「数据转换」节点新增算子「简道云输入」 |
4.0.4.2 | 「数据转换」节点新增算子「MongoDB输入算子」 |
4.0.7 | 优化数据转换与其他节点的层级关系:编辑「数据转换」时显示当前所在任务名称,同时支持返回任务配置界面,详情参见本文第 2 节。 |
1.2 应用场景
满足表输入和表输出之间需要做数据转换、处理的场景。如下图所示:
1.3 功能简介
「数据转换」提供输入、输出、转换等类型的节点,可在抽数过程中实现复杂的数据转换。
2. 功能列表编辑
节点拖到设计界面后,点击该节点打开编辑界面,可以看到「数据转换」节点的设置是拖动节点和连线的形式。
界面如下图所示:
可以把「数据转换」节点设置界面的那些节点称为算子,这些算子的类型有:
数据输入:获取要关联的数据,可以是数据库数据、RestAPI 数据、数据集数据、简道云数据、MongoDB数据库数据
数据输出:将关联好的数据保存到一张表里,可以是已有的表也可以新建一张表。「比对删除」请参见:比对删除算子
连接:选择这些表的关联字段以及关联方式。详情请参见:数据关联
实验室:Spark SQL 算子使用户可以在提供的数据流算子不丰富的情况下,依然能够实现比较灵活的数据转换功能。详情请参见:Spark SQL算子
备注说明:详情参见ETL任务和节点添加备注 第 2.2 节。
3. 功能变动编辑
3.1 DB 表输出
3.7 版本,「DB表输出」算子的「数据去向」Tab中若选择「自动建表」,「字段映射」Tab下可删除表字段、修改表字段展示顺序、修改表字段长度、修改字段类型。
4.0.1 及之后版本,修改表字段展示顺序的方式,从点击调整字段顺序调整为拖拽调整字段顺序。如下图所示:
3.2 数据转换的取消新增提示
数据转换有内容更改,点击取消时,给出浮窗确认。如下图所示: