历史版本42 :数据同步-API 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本说明

FineDataLink 版本功能变动
V1.5
数据来源中的数据源类型支持 API
4.0.10API交互优化
4.0.13

JSON 返回值处理优化,与API输入相同,详情参见本文 3.2 节

4.0.17API 支持自定义认证,详情参见本文 1.3 节
4.0.19数据去向支持AI输出,同时数据来源API支持关闭SSL证书验证,详情参见API关闭证书验证
4.0.23

API 配置中的 body 请求内容支持使用 Content-Type 为 form-data 和 x-www-form-urlencoded 请求格式,

允许添加多行、每行均为自定义输入、支持引用参数,详情参见本文1.3节

1.2 应用场景

出于安全考虑,有时不允许直接访问数据库,而是以 API 的形式对外提供数据。

此时用户需要通过 API 接口将数据取出并将其存放至对应的数据库中。

1.3 功能说明

FineDataLink 支持从 API 接口中取数,本文将介绍如何在数据同步节点中通过 API 接口取数。


内容说明
A

请求方法

FDL 支持GET和POST两种请求方式。关于API接口说明详情参见:API入门

注:FDL 支持GET和POST两种请求方式,若您需要使用PUT或者 DELETE 请求方法,POST 方法也能满足需求。

B

接口地址

需要调用接口url
C

请求参数

URL 传参(Query参数)

  • 可手动添加参数,填写参数名、参数值

  • 也可以直接在URL后添加参数 例如:

DAuthorization 认证类型
  • 无认证(默认)

  • Bearer Token:在输入框中输入 token 验证

  • Basic Auth:输入用户名和密码验证

  • 其他认证:将Authorization选项原样放入、且支持参数输入

EHeaders 请求参数
  • 支持 application/x-www-form-urlencoded、application/json、application/xml、multipart/form-data、text/xml、text/plain 请求格式;

  • 允许用户在 Headers 内对 Content-Type 进行自定义设置,即 Content-Type 的下拉框支持输入非下拉列表值;

  • Body与Content-Type双向联动

Body一级选项Body二级选项Content-Type默认值说明
form-data
multipart/form-data 允许添加多行、每行均为自定义输入、支持引用参数;
x-www-form-urlencoded
application/x-www-form-urlencoded允许添加多行、每行均为自定义输入、支持引用参数;
rawJSONapplication/json
XMLapplication/xml 
TEXTtext/plain
  • 如果输入的 Content-Type 不在联动列表内,则 Body 内格式较改变 Content-Type 前不发生变化;

  • 如果用户输入不在列表内的 Content-Type 后,再修改Body的格式,则自动覆盖Headers内的Content-Type为联动值;

FBody 请求内容

注:选择POST请求方式时展示此选项。

Body中支持格式选择,TEXT、JSON、XML

body 内容写法如下:

  • GET 方法:abc=1&def=1

  • POST 方法:JSON 类型参数

格式为:GET:"a=123&b=456" POST:{"a":123,"b"=456}

D响应内容如果是JSON格式,可进行后续的处理

为空默认解析首层节点,可用「$.父节点.子节点」的格式自定义解析层级,例如: 一层:$.store;两层:$.store.book;

详情参见本文第五章。

2. 前提条件编辑

  • 关于API 接口信息介绍,详情参见:API入门

  • 在使用 API 接口进行取数时,可以提前用 Postman 或者其他 API 调试工具进行测试,确保 API 的可用性。

3. 使用限制编辑

当前 FineDataLink 内置的请求超时时间是10s,如果 API 查询返回时间超过 10s 将导致任务失败。

若用户需要增大请求时间,可以使用 FDLTimeout 参数,详情参见本文第六章。

4. 操作步骤编辑

我们使用简道云的查询多条数据接口,来对表单中的数据进行查询,示例接口为https://api.jiandaoyun.com/api/v4/app/62e9e1c00a99380008a3ccd2/entry/62e9e20f49a9e700085d5e08/data

接口信息详情参见:查询多条数据接口

4.1 创建任务

登录 FineDataLink,进入数据开发节点,创建一个定时任务,并将其命名为「api」,如下图所示:

数据同步节点拖到设计界面,点击该节点打开设置界面,如下图所示:

4.2 API取数

1)数据源类型选择 API,填写 API 地址https://api.jiandaoyun.com/api/v4/app/62e9e1c00a99380008a3ccd2/entry/62e9e20f49a9e700085d5e08/data

验证方式选择「Token」,并输入Token「Btu3skup52lmoon9yQAZWGEcOPCYSRDE」;选择请求类型为「POST」,如下图所示:

查看接口文档,请求方式为 POST,请求参数默认是body,因此可以将下面几个参数放入body中,同时接口使用的是 application/json的body类型格式。

比如想要取出 data 这个 JSON 数组,并且只取前 5 条数据。

首先选择 Body,设置为 JSON 格式,此时Headers 中会自动显示为 {"Content-Type":"application/json"}格式,因为我们给出的 API 接口已经定义了请求参数 limit(查询的数据条数,1~100,默认10),所以可以直接使用该请求参数,在请求参数中填入:{"limit":5},如下图所示:

此时点击数据预览,此时即可看到取出的数据,如下图所示:

若只想要取出 JSON 数组中 data 数据,可以输入 JSON 路径「$.data」,如下图所示:

更多返回值相关说明详情参见本文第四章。

  • 若勾选了「将解析后的json数据展开为二维表」,则预览时以二维表的形式;

  • 若未勾选「将解析后的json数据展开为二维表」,则以JSON格式预览数据。

即可查看到取出的数据,如下图所示:

4.0.13 之前的版本
升级后
「数据同步」「参数赋值」里的API配置,未配置返回值处理

JSON路径:为空

勾选:将解析后的json数据展开为二维表

「数据同步」「参数赋值」里的API配置,配置了返回值处理

JSON路径:自动升级为JSONPath的写法,例如data 升级后变为 $.data

勾选:将解析后的json数据展开为二维表

4.3 将数据存入数据库

数据源类型选择 MySQL,数据连接选择「demo」,目标选择自动建表,表名称为 apitongbu,追加写入数据,如下图所示:

在字段映射中可以查看到字段写入数据库前后的信息,如下图所示:

点击「保存并运行」,出现执行成功信息即表示抽数成功,如下图所示:

节点运行成功后,可以看到已经将 API 数据取到 MySQL 数据库,如下图所示:

4.4 示例参考

示例详情参见:http://demo.finedatalink.com/ 中 「功能示例>步骤流>数据同步」下数据源类型为API-示例一和数据源类型为API-示例二。

5. 返回值处理说明编辑

接口数据返回值如果是 JSON 格式,想要取出指定的 JSON 数组,可以使用「返回值处理」直接解析 JSON 数据。

数据类型转换列表:

类型分类
字段类型
整数类

long,int

字符串类

string

浮点类

double,float

布尔类

boolean

日期时间类

date

其他类型显示为空

配置项说明:

以 http://fine-doc.oss-cn-shanghai.aliyuncs.com/book.json 为例。

5.1 默认返回值

API 取数默认返回的结果将包括所有对象,同时解析首层的节点

即返回 store、store.book、store.bicycle、store.bicycle.color、store.bicycle.price 数据。

5.2 指定返回值

可以填写自定义的 JSON 路径控制只返回结果中的单个 JSON 对象或者 JSON 数组

使用「父节点.子节点」的格式自定义解析层级,例如: 一层:store;两层:store.book;三层:store.book.author

例如想要取出 store 对象中 book 数组数据,可以在路径中输入:$.store.book,可以获取到 book 数组下的所有数据,如下图所示:

例如想要取出 store 对象中的数据,可以在路径中输入:$.store,可以获取到 store 对象下的首层节点的数据:book、bicycle、bicycle.color、bicycle.price如下图所示:

6. 注意事项编辑

请求时间默认为 10秒,若用户的数据量较大,接口请求时间较长,4.0.13 以及之后的版本可以在FDL的 Header 内使用 FDLTimeout 字段设置超时时间。

该参数参数值需要写入正整数,如下图所示:

注:若数据量较大,JSON 格式数据建议取消勾选「将解析后的JSON数据展开为二维表」,否则会增加加载响应时间。