简道云输入算子

1.1 版本

1.2 应用场景

用户处于以下场景时：

• 简道云上数据量比较大，约五十万数据级别，需要做一些复杂计算分析，简道云数据工厂处理不了，需要下云处理。

• 出于数据安全考虑，需要将简道云数据下云备份到本地数据库。

「简道云输入」算子可满足用户需求。

1.3 功能简介

「简道云输入」算子可实现获取指定简道云表单数据的功能。

2.1 简道云数据连接类型

数据连接 处可以新增简道云数据连接类型。如下图所示：

注：工程需要能够访问外网，否则拉不到简道云数据。

各设置项介绍如下表所示：

2.2 简道云输入算子

「数据转换」节点新增算子「简道云输入」，界面如下图所示：

各设置项介绍如下表所示：

本文示例：将简道云某个字段 JSON 解析后，备份到数据库中。

3.1 新建简道云数据连接

注：数据连接具体步骤可参见：［平台］数据连接管理

1）管理员进入平台，点击「管理系统>数据连接>数据连接管理>新建数据连接」，如下图所示：

2）新建并配置简道云数据连接，点击「测试连接」显示成功后，点击「保存」按钮。如下图所示：

3.2 新建 ETL 任务

点击「数据开发」，选择某个文件夹，在此文件夹下新建 ETL 任务。如下图所示：

3.3 设置数据转换节点

1）进入新建的 ETL 任务，拖入「数据转换」节点。如下图所示：

2）点击数据转换节点，拖入「简道云输入」算子，并对该算子进行设置。如下图所示：

点击「数据预览」，可查看简道云数据。如下图所示：

本文示例将对简道云数据中的「_widget_1651715885398」字段进行 JSON 解析并输出。

3.4 设置 JSON 解析算子

再拖入一个「JSON 解析」算子，与「简道云输入」算子相连。

设置「JSON 解析」算子。如下图所示：

点击「数据预览」，如下图所示：

3.5 设置 DB 表输出算子

再拖入一个「DB 表输出」算子，与「JSON 解析」算子相连。

设置「DB 表输出」算子，将简道云数据输出到 jiandaoyun 表中。如下图所示：

3.6 运行节点

1）点击右上角「确定」，保存数据转换的设计。如下图所示：

2）回到 ETL 任务设计界面，点击右上角「保存并运行」，日志有执行成功信息表示任务成功运行。

可以看到数据库 etlwendy 中新增了一张表 jiandaoyun。如下图所示：