历史版本10 :简道云输入典型示例 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

FineDataLink 版本功能变更
4.0.2.1
  • 数据连接新增「简道云」类型

  • 「数据转换」节点新增算子「简道云输入」

1.2 应用场景

用户处于以下场景时:

  • 简道云数据量比较大,约五十万数据级别,需要做一些复杂计算分析,简道云数据工厂无法处理。

  • 出于数据安全考虑,需要将简道云数据备份到本地数据库。

「简道云输入」算子可满足用户需求。

1.3 功能说明

「简道云输入」算子可实现获取指定简道云表单数据的功能。

2. 前提条件编辑

2.1 简道云表单字段处理

在简道云表单接入前,可提前设置字段别名,否则接入到 FineDataLink 中时会使用字段原始名,不便于你的业务处理。

进入简道云应用,进入需要使用表单的编辑界面,选择「数据推送>扩展功能>设置字段别名」,如下图所示:

2.2 配置简道云数据连接

配置数据连接 处需要新增简道云数据连接类型。

输入相关内容将简道云数据接入 FineDataLink 中,如下图所示:

注:工程需要能够访问外网,否则拉不到简道云数据。

2.png

各设置项介绍如下表所示:

设置项说明
数据连接名称填写数据连接名称,默认为数据连接
简道云APIKey

填写简道云 APIKey,默认为空,不可复制,要求无法直接获取到明文

获取方法可参见:API

简道云应用
  • 下拉展示企业下所有应用名称,获取失败时显示为空

  • 支持模糊查找,选择数据连接提供的简道云应用列表

  • 可多选

自动时区转换勾选后,同步简道云时间字段时,进行自动时区转换
时区选择勾选「自动时区转换」时显示,可选择指定时区

默认时区为:UTC/GMT +8 小时 (东八区) 

请求失败重试次数填写当获取表单数据接口请求异常时,重复请求次数。(如请求频率超限等)

允许输入范围为 0~100,默认值为 5

3. 操作步骤编辑

本文示例:将简道云某个字段 JSON 解析后,备份到数据库中。

3.1 新建简道云数据连接

注:数据连接具体步骤可参见:配置数据连接

1)管理员进入平台,点击「管理系统>数据连接>数据连接管理>新建数据连接」,如下图所示:

2.png

2)新建并配置简道云数据连接,点击「测试连接」显示成功后,点击「保存」按钮。如下图所示:

3.png

3.2 新建 ETL 任务

点击「数据开发」,选择某个文件夹,在此文件夹下新建 ETL 任务。如下图所示:

8.png

3.3 设置数据转换节点

1)进入新建的 ETL 任务,拖入「数据转换」节点。如下图所示:

9.png

2)点击数据转换节点,拖入「简道云输入」算子,并对该算子进行设置。如下图所示:

4.png

各设置项介绍如下表所示:

设置项说明
数据连接下拉展示所有数据源类型为简道云的数据连接
简道云应用下拉展示数据连接中包含的简道云应用
应用表单下拉展示对应应用下所有简道云表单
筛选条件

可点击「添加筛选条件」按钮,添加筛选条件。如下图所示:

4.png

点击「数据预览」,可查看简道云数据。如下图所示:

本文示例将对简道云数据中的「_widget_1651715885398」字段进行 JSON 解析并输出。

6.png

3.4 设置 JSON 解析算子

再拖入一个「JSON 解析」算子,与「简道云输入」算子相连。

设置「JSON 解析」算子。如下图所示:

7.png

点击「数据预览」,如下图所示:

8.png

3.5 设置 DB 表输出算子

再拖入一个「DB 表输出」算子,与「JSON 解析」算子相连。

设置「DB 表输出」算子,将简道云数据输出到 jiandaoyun 表中。如下图所示:

9.png

3.6 运行节点

1)点击右上角「确定」,保存数据转换的设计。如下图所示:

10.png

2)回到 ETL 任务设计界面,点击右上角「保存并运行」,日志有执行成功信息表示任务成功运行。

11.png

可以看到数据库 etlwendy 中新增了一张表 jiandaoyun。如下图所示:

1653014348264863.png