1. 概述
1.1 版本说明
| FineDataLink 版本 | 功能变动 |
|---|---|
| 3.1 | 新增节点「数据转换」 |
| 4.1.2 | 新增「字段拆列」「字段拆行」「分组汇总」算子 |
| 4.1.3 | 「DB表输入」算子，数据源类型选择「DB表输入」类型时：
|
| 4.1.6.4 | 新增「MongoDB输出」算子，可将数据输出到 MongoDB |
| 4.1.11.3 | 新增「Elasticsearch输出」算子，可将数据输出到Elasticsearch |
| 4.2.0.2 | 新增「Elasticsearch输入」算子，可读取指定 Elasticsearch 数据库中的数据 |
| 查看历史版本更新 | ||||||||||||||||||||||||||||||||||||
|
1.2 应用场景
数据同步节点 支持将数据进行跨数据库的同步，但是如果用户希望将数据进行比较复杂的处理（JSON 解析、多表关联等）后再同步至数据库中，则需要使用数据转换功能。如下图所示：
注：若用户希望将大量的数据直接抽取同步写入数据库中，且想要同步的数据不需要非常复杂的处理步骤，则可以使用 数据同步节点
1.3 功能简介
「数据转换」提供输入、输出、转换等类型的算子，可在抽数过程中实现复杂的数据处理。
注：数据转换和数据同步的区别详情参见：数据同步与数据转换的区别
2. 功能列表
进入「数据转换」节点，界面如下图所示：
「数据转换」节点中包含的算子介绍如下表所示：
| 分类 | 算子 | 说明 |
|---|---|---|
| 数据输入 | DB表输入 | 读取关系型数据库表中的数据 具体请参见：FineDataLink支持的数据源 4.1.3 及之后版本，数据源类型选择「DB表输入」类型时：
|
| API输入 | 从 API 中读取数据，支持 RESTful API 和 WebService API | |
| 文件输入 | 从 FineDataLink 服务器本地和 FTP/SFTP 服务器上读取 Excel、CSV、Txt 文件数据 | |
| 简道云输入 | 读取简道云表单中的数据 | |
| MongoDB输入 | 读取 MongoDB 中指定集合的数据 | |
| SAP RFC输入 | 支持通过 RFC 接口调用 SAP 系统内已经开发好的函数，并将数据取出 | |
| Elasticsearch输入 | 可读取指定 Elasticsearch 数据库中的数据 | |
| 数据集输入 | 支持读取文件数据集（Excel、TXT、XML、CSV）、树数据集、存储过程、程序数据集、内置数据集、关联数据集。其中存储过程、程序数据集、内置数据集、关联数据集仅在FineReport设计器可定义 注：若BI公共数据某列的值包含-∞、＋∞，「数据集输入」算子不支持读取 | |
| 数据输出 | DB表输出 | 将数据输出到关系型数据库表 |
| 参数输出 | 将取到的数据输出为参数，供下游节点使用 | |
| API输出 | 将数据输出到API | |
| 简道云输出 | 将数据输出到简道云表单 | |
| 文件输出 | 可将数据输出为文件形式 | |
| MongoDB输出 | 将数据输出到 MongoDB | |
| Elasticsearch输出 | 将数据输出到 Elasticsearch | |
| 连接 | 数据关联 | 用户两张数据表在不同的数据库中，希望能够将两张不同来源库的表进行关联生成新表。连接方式如下：
|
| 数据比对 | 将 2 个输入的数据进行比较，筛选出新增、删除、相同、更新的数据 | |
| 上下合并 | 可对多张表进行上下行合并，输出一张合并表 | |
| 转换 | 列转行 | 实现数据表行列结构的改变，列转行 |
| 行转列 | 实现数据表行列结构的改变，行转列 | |
| JSON解析 | 解析 JSON 结构的数据，输出行列格式的数据 | |
| XML解析 | 将 XML 格式数据解析为行列格式数据 | |
| 字段设置 | 可实现数据流字段的选择、重命名、数据类型转换操作 | |
| 新增计算列 | 在不影响原有字段的情况下，可利用原有字段通过引用或计算获得一个新的字段 | |
| 数据过滤 | 过滤符合条件的数据记录 | |
| JSON生成 | 选择字段，将表单数据，转换为生成多个 JSON 对象，用户可以在其中配置多层 JSON 嵌套 | |
| 字段拆列 | 字段值按照特定规则（分隔符或字符数）拆分，拆分后的结果形成新的多列字段和值 | |
| 字段拆行 | 字段值按照特定规则（分隔符）拆分，拆分后的结果形成新的一列字段和值 | |
| 分组汇总 | 对原始数据根据条件将相同的数据先合并到一组，然后按照分组后的数据进行汇总计算 | |
| 实验室 | Spark SQL | Spark SQL 基于内置的 Spark 计算引擎，满足用户查询数据、处理数据的需求，支持使用参数、函数 |
| Python 算子 | 可调用 Python 脚本进行复杂数据处理 | |
| 其他 | 备注说明 | 可帮助用户为任务、节点增加备注 |
