历史版本28 :数据转换概述 返回文档
编辑时间:
内容长度:图片数:目录数:
修改原因:
1. 概述编辑
1.1 版本说明
| FineDataLink 版本 | 功能变动 |
|---|---|
| 3.1 | 新增节点「数据转换」，可实现数据跨库关联 |
| 3.5 | 「数据转换」节点新增算子「行列转换」 |
| 3.5.1 | 「数据转换」节点新增算子「JSON解析」 |
| 3.6.2 | 「数据转换」节点新增算子「Spark SQL」 |
| 3.7 |
|
| 4.0.1 | 「DB表输出」算子的「数据去向」Tab中若选择「自动建表」，「字段映射」Tab下修改表字段展示顺序的方式，从点击调整字段顺序调整为拖拽调整字段顺序，详情参见本文 3.1 节 |
| 4.0.2 | 数据转换有内容更改，点击取消时，给出浮窗确认，详情请参见本文 3.2 节 |
| 4.0.2.1 | 「数据转换」节点新增算子「简道云输入」 |
| 4.0.4.2 | 「数据转换」节点新增算子「MongoDB输入算子」 |
| 4.0.7 | 优化数据转换与其他节点的层级关系：编辑「数据转换」时显示当前所在任务名称，同时支持返回任务配置界面，详情参见本文第 2 节。 |
| 4.0.13 | 新增「参数输出」功能 |
1.2 应用场景
数据同步节点 支持将数据进行跨数据库的同步，但是如果用户希望将数据进行比较复杂的处理（数据JSON 解析、SQL语句等）后在同步至数据库中，则需要使用数据转换功能，取数后进行数据处理在进行数据同步，如下图所示：
注：若用户希望将大量的数据直接抽取同步写入数据库中，且想要同步的数据不需要非常复杂的处理步骤，则可以使用 数据同步节点，
1.3 功能简介
「数据转换」提供输入、输出、转换等类型的节点，可在抽数过程中实现复杂的数据转换。
注：数据转换和数据同步的区别详情参见：数据同步与数据转换的区别
2. 功能列表编辑
节点拖到设计界面后，点击该节点打开编辑界面，可以看到「数据转换」节点的设置是拖动节点和连线的形式。
界面如下图所示：
可以把「数据转换」节点设置界面的那些节点称为算子，这些算子的类型有：
| 功能列表 | 说明 |
|---|---|
| 数据输入 | 需要同步的来源数据：可以是数据库数据、API、数据集数据、简道云数据、MongoDB数据库数据 |
| 连接 | 将多个数据表进行 JOIN 操作，详情请参见：数据关联 |
| 转换 | 对数据字段进行转换处理 |
| 实验室 | Spark SQL 算子使用户可以在提供的数据流算子不丰富的情况下，通过 SQL 语句依然能够实现比较灵活的数据转换功能。详情请参见：Spark SQL算子 |
| 其他 | 备注说明 详情参见ETL任务和节点添加备注 第 2.2 节。 |
| 数据输出 | 将处理好的数据保存到一张表里，可以是已有的表也可以新建一张表 「比对删除」请参见：比对删除算子 参数输出：将取到的数据输出为参数，供下游节点使用 参数输出 |