历史版本5 :生成数据转换 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本说明

FineDataLink 版本功能变动
4.0.13

-

1.2 应用场景

数据同步与数据转换的区别 已经说明了两个功能的应用区别。

  • 「数据同步」:数据获取—简单处理—输出

  • 「数据转换」:数据获取—复杂处理—输出

然而用户在进行数据处理时,可能预估使用「数据同步」即可完成跨数据库数据迁移,但在实际使用时发现需要进行一些复杂的操作;

或者认为使用「参数赋值」即可直接取出指定数据作为参数值,却发现取出数据作为参数之前需要进行一些复杂的数据处理。

此时即可使用「生成数据转换」功能,实现快速切换,让用户的使用更流畅。

1.3 功能说明

FineDataLink 提供「生成数据转换」功能。

支持将「数据同步」、「参数赋值」一键生成「数据转换」。

注1:当「循环容器」内的「数据同步」「参数赋值」快速转「数据转换」时,生成的「数据转换」限制在循环容器内。

注2:若「数据同步」、「参数赋值」前后有节点连线,转「数据转换」时,生成的「数据转换」不影响原先节点连线关系。

2. 数据同步生成数据转换编辑

用户有一个接口数据 http://fine-doc.oss-cn-shanghai.aliyuncs.com/book.json,希望将满足  category 为 fiction 的数据取到指定数据库中。

首先使用了「数据同步」功能,选择数据源类型为 API ,同时进行 API 配置,然后在返回值中的 JSON 路径写入$.store.book,取出 book 数组下的所有数据,如下图所示:

点击数据预览,如下图所示:

此时发现,没有办法取到 category 只有 fiction 的数据。

这时可以使用「生成数据转换」,即新增一个「数据转换」节点,在编辑界面默认生成输入和输出两个节点,如下图所示:

生成的内容会默认保留之前的配置,如下图所示:

此时可以新增一个「Spark SQL」,过滤出满足条件的数据,如下图所示:

然后设置输出数据库信息即可,如下图所示:

3. 参数赋值生成数据转换编辑

用户希望 API 数据进行解析处理后,将满足条件的数据设置为参数,并将数据库表中满足参数条件的数据取出至指定数据库。

  • http://fine-doc.oss-cn-shanghai.aliyuncs.com/book.json 数据需要进行解析并取出 isbin 不为空的数据;

  • 将这些数据中的 author 作为参数输出,并输入给 book 数据表中;

  • 从中取出满足参数条件的数据,输出至 boook_out 数据表中。

此时首先使用了参数赋值功能,如下图所示:

然后发现参数赋值未提供复杂解析和处理的功能,因此只能先在「数据转换」里做处理数据并取至数据库后,再使用「参数赋值」输出为参数,使用成本较高。

用户期望能够对数据进行处理后直接输出参数,不需要将处理结果输出数据库在从数据库取值作为参数。

因此可以点击生成数据转换,即新增一个「数据转换」节点,在编辑界面默认生成输入和输出两个节点,可以进行一些数据复杂处理,如下图所示:

后续操作步骤详情参见:参数输出