生成数据转换

1.1 版本说明

1.2 应用场景

数据同步与数据转换的区别 已经说明了两个功能的应用区别。

• 「数据同步」：数据获取—简单处理—输出

• 「数据转换」：数据获取—复杂处理—输出

然而用户在进行数据处理时，可能预估使用「数据同步」即可完成跨数据库数据迁移，但在实际使用时发现需要进行一些复杂的操作；

或者认为使用「参数赋值」即可直接取出指定数据作为参数值，却发现取出数据作为参数之前需要进行一些复杂的数据处理。

此时即可使用「生成数据转换」功能，实现快速切换，让用户的使用更流畅。

1.3 功能说明

FineDataLink 提供「生成数据转换」功能。

支持将「数据同步」、「参数赋值」一键生成「数据转换」。

注1：当「循环容器」内的「数据同步」「参数赋值」快速转「数据转换」时，生成的「数据转换」限制在循环容器内。

注2：若「数据同步」、「参数赋值」前后有节点连线，转「数据转换」时，生成的「数据转换」不影响原先节点连线关系。

用户有一个接口数据 http://fine-doc.oss-cn-shanghai.aliyuncs.com/book.json，希望将满足  category 为 fiction 的数据取到指定数据库中。

首先使用了「数据同步」功能，选择数据源类型为 API ，同时进行 API 配置，然后在返回值中的 JSON 路径写入$.store.book，取出 book 数组下的所有数据，如下图所示：

点击数据预览，如下图所示：

此时发现，没有办法取到 category 只有 fiction 的数据。

这时可以使用「生成数据转换」，即新增一个「数据转换」节点，在编辑界面默认生成输入和输出两个节点，如下图所示：

生成的内容会默认保留之前的配置，如下图所示：

此时可以新增一个「Spark SQL」，过滤出满足条件的数据，如下图所示：

然后设置输出数据库信息即可，如下图所示：

用户希望 API 数据进行解析处理后，将满足条件的数据设置为参数，并将数据库表中满足参数条件的数据取出至指定数据库。

• http://fine-doc.oss-cn-shanghai.aliyuncs.com/book.json 数据需要进行解析并取出 isbin 不为空的数据;

• 将这些数据中的 author 作为参数输出，并输入给 book 数据表中;

• 从中取出满足参数条件的数据，输出至 boook_out 数据表中。

此时首先使用了参数赋值功能，如下图所示：

然后发现参数赋值未提供复杂解析和处理的功能，因此只能先在「数据转换」里做处理数据并取至数据库后，再使用「参数赋值」输出为参数，使用成本较高。

用户期望能够对数据进行处理后直接输出参数，不需要将处理结果输出数据库在从数据库取值作为参数。

因此可以点击生成数据转换，即新增一个「数据转换」节点，在编辑界面默认生成输入和输出两个节点，可以进行一些数据复杂处理，如下图所示：

后续操作步骤详情参见：参数输出