简道云输入算子

  • Last update:  2022-06-28
  • 1. 概述

    1.1 版本

    FineBI 版本功能变更
    6.0

    -

    1.2 应用场景

    用户处于以下场景时:

    • 简道云上数据量比较大,约五十万数据级别,需要做一些复杂计算分析,简道云数据工厂处理不了,需要下云处理。

    • 出于数据安全考虑,需要将简道云数据下云备份到本地数据库。

    「简道云输入」算子可满足用户需求。

    1.3 功能简介

    「简道云输入」算子可实现获取指定简道云表单数据的功能。

    2. 功能介绍

    2.1 简道云数据连接类型

    数据连接 处可以新增简道云数据连接类型。如下图所示:

    注:工程需要能够访问外网,否则拉不到简道云数据。

    各设置项介绍如下表所示:

    设置项说明
    数据连接名称填写数据连接名称,默认为数据连接
    简道云APIKey

    填写简道云 APIKey,默认为空,不可复制,要求无法直接获取到明文

    获取方法可参见:API

    简道云应用
    • 下拉展示企业下所有应用名称,获取失败时显示为空

    • 支持模糊查找,选择数据连接提供的简道云应用列表

    • 可多选

    自动时区转换勾选后,同步简道云时间字段时,进行自动时区转换
    时区选择勾选「自动时区转换」时显示,可选择指定时区

    默认时区为:UTC/GMT +8 小时 (东八区) 

    请求失败重试次数填写当获取表单数据接口请求异常时,重复请求次数。(如请求频率超限等)

    允许输入范围为 0~100,默认值为 5

    2.2 简道云输入算子

    「数据转换」节点新增算子「简道云输入」,界面如下图所示:

    各设置项介绍如下表所示:

    设置项说明
    数据连接下拉展示所有数据源类型为简道云的数据连接
    简道云应用下拉展示数据连接中包含的简道云应用
    应用表单下拉展示对应应用下所有简道云表单
    筛选条件

    可点击「添加筛选条件」按钮,添加筛选条件。如下图所示:

    3.  示例

    本文示例:将简道云某个字段 JSON 解析后,备份到数据库中。

    3.1 新建简道云数据连接

    注:数据连接具体步骤可参见:[平台]数据连接管理

    1)管理员进入平台,点击「管理系统>数据连接>数据连接管理>新建数据连接」,如下图所示:

    2)新建并配置简道云数据连接,点击「测试连接」显示成功后,点击「保存」按钮。如下图所示:

    3.2 新建 ETL 任务

    点击「数据开发」,选择某个文件夹,在此文件夹下新建 ETL 任务。如下图所示:

    3.3 设置数据转换节点

    1)进入新建的 ETL 任务,拖入「数据转换」节点。如下图所示:

    2)点击数据转换节点,拖入「简道云输入」算子,并对该算子进行设置。如下图所示:

    点击「数据预览」,可查看简道云数据。如下图所示:

    本文示例将对简道云数据中的「_widget_1651715885398」字段进行 JSON 解析并输出。

    3.4 设置 JSON 解析算子

    再拖入一个「JSON 解析」算子,与「简道云输入」算子相连。

    设置「JSON 解析」算子。如下图所示:

    点击「数据预览」,如下图所示:

    3.5 设置 DB 表输出算子

    再拖入一个「DB 表输出」算子,与「JSON 解析」算子相连。

    设置「DB 表输出」算子,将简道云数据输出到 jiandaoyun 表中。如下图所示:

    3.6 运行节点

    1)点击右上角「确定」,保存数据转换的设计。如下图所示:

    2)回到 ETL 任务设计界面,点击右上角「保存并运行」,日志有执行成功信息表示任务成功运行。

    可以看到数据库 etlwendy 中新增了一张表 jiandaoyun。如下图所示:


    Attachment List


    Theme: 数据开发
    前の記事
    次の記事
    • いいね
    • 良くない
    • 閲覧しただけ

    フィードバック

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    9s后关闭

    反馈已提交

    网络繁忙