1. 概述
1.1 版本
FineBI 版本 | 功能变更 |
---|---|
6.0 | - |
1.2 应用场景
用户处于以下场景时:
简道云上数据量比较大,约五十万数据级别,需要做一些复杂计算分析,简道云数据工厂处理不了,需要下云处理。
出于数据安全考虑,需要将简道云数据下云备份到本地数据库。
「简道云输入」算子可满足用户需求。
1.3 功能简介
「简道云输入」算子可实现获取指定简道云表单数据的功能。
2. 功能介绍
2.1 简道云数据连接类型
数据连接 处可以新增简道云数据连接类型。如下图所示:
注:工程需要能够访问外网,否则拉不到简道云数据。
各设置项介绍如下表所示:
设置项 | 说明 |
---|---|
数据连接名称 | 填写数据连接名称,默认为数据连接 |
简道云APIKey | 填写简道云 APIKey,默认为空,不可复制,要求无法直接获取到明文 获取方法可参见:API |
简道云应用 |
|
自动时区转换 | 勾选后,同步简道云时间字段时,进行自动时区转换 |
时区选择 | 勾选「自动时区转换」时显示,可选择指定时区 默认时区为:UTC/GMT +8 小时 (东八区) |
请求失败重试次数 | 填写当获取表单数据接口请求异常时,重复请求次数。(如请求频率超限等) 允许输入范围为 0~100,默认值为 5 |
2.2 简道云输入算子
「数据转换」节点新增算子「简道云输入」,界面如下图所示:
各设置项介绍如下表所示:
设置项 | 说明 |
---|---|
数据连接 | 下拉展示所有数据源类型为简道云的数据连接 |
简道云应用 | 下拉展示数据连接中包含的简道云应用 |
应用表单 | 下拉展示对应应用下所有简道云表单 |
筛选条件 | 可点击「添加筛选条件」按钮,添加筛选条件。如下图所示: |
3. 示例
本文示例:将简道云某个字段 JSON 解析后,备份到数据库中。
3.1 新建简道云数据连接
注:数据连接具体步骤可参见:[平台]数据连接管理
1)管理员进入平台,点击「管理系统>数据连接>数据连接管理>新建数据连接」,如下图所示:
2)新建并配置简道云数据连接,点击「测试连接」显示成功后,点击「保存」按钮。如下图所示:
3.2 新建 ETL 任务
点击「数据开发」,选择某个文件夹,在此文件夹下新建 ETL 任务。如下图所示:
3.3 设置数据转换节点
1)进入新建的 ETL 任务,拖入「数据转换」节点。如下图所示:
2)点击数据转换节点,拖入「简道云输入」算子,并对该算子进行设置。如下图所示:
点击「数据预览」,可查看简道云数据。如下图所示:
本文示例将对简道云数据中的「_widget_1651715885398」字段进行 JSON 解析并输出。
3.4 设置 JSON 解析算子
再拖入一个「JSON 解析」算子,与「简道云输入」算子相连。
设置「JSON 解析」算子。如下图所示:
点击「数据预览」,如下图所示:
3.5 设置 DB 表输出算子
再拖入一个「DB 表输出」算子,与「JSON 解析」算子相连。
设置「DB 表输出」算子,将简道云数据输出到 jiandaoyun 表中。如下图所示:
3.6 运行节点
1)点击右上角「确定」,保存数据转换的设计。如下图所示:
2)回到 ETL 任务设计界面,点击右上角「保存并运行」,日志有执行成功信息表示任务成功运行。
可以看到数据库 etlwendy 中新增了一张表 jiandaoyun。如下图所示: