历史版本23 :API采集数据专题 返回文档
编辑时间:
内容长度:图片数:目录数:
修改原因:
1. 概述编辑
在现实的业务中，有很多数据需要通过 API 接口调用使用。
因此本文为用户介绍一些常用的在 FineDataLink 中使用 API 进行数据处理的场景。
2. 索引编辑
关于 API 的数据开发，有以下几种常见的情况：
| 序号 | 场景 | 方案 | 功能组合 | 示例 |
|---|---|---|---|---|
| 1 | API入门 | 如何看 API 文档，以及如何在 FineDataLink 中使用 API | / | API入门 |
| 2 | 直接从 API 接口取数，且数据为非 JSON 格式 | 直接使用数据同步-API 取数并同步至数据库即可 | 数据同步 | 数据同步-API |
| 3 | 直接从 API 接口取数，且数据为 JSON 格式 | 使用数据转换取数并通过JSON解析将 JSON数据解析成常用的数据格式，并同步至数据库 | 数据转换「API输入+JSON解析+DB表输出」 | JSON解析 |
| 4 | 直接从 API 接口取数，且数据为 XML 格式 | 使用数据转换中的API 取数 并通过 XML 解析将 XML 数据解析成行列数据格式，并同步至数据库 | 数据转换「API输入+XML解析+DB表输出」 | XML 解析 |
| 5 | 需要先获取 Token 或者某个指定数据，然后再根据 Token 从指定 API 中取出数据 | 首先通过参数赋值将需要获取的 Token或者数据取出并设置为参数，使用数据转换或者数据同步引用上一节点设置的参数取出需要数据并同步至数据库。 | 参数赋值、数据转换（API输入+JSON解析+DB表输出） | API取数-获取企业微信人员信息 |
| 6 | 分批取出接口中的数据 接口文档中包含数据页数、数据条数等信息 | 从接口中获取总页数作为参数，也就是需要执行的次数； 使用循环容器和内置参数 loopTimes，首次执行页码数为 1 ，然后递增执行取出每一页的数据。 | 参数赋值、循环容器、数据转换（API输入+JSON解析+DB表输出） | API取数-按页数取数 |
| 7 | 需要通过拼接获取鉴权签名参数，然后在接口中取出数据 | 使用 SparkSQL 拼接鉴权签名参数，然后取出总页数、配合循环容器和内置参数 loopTimes，一页页取出数据。 | 参数赋值、数据转换（SparkSQL、API输入、JSON解析、DB表输出）、循环容器 | API取数-加密身份验证&按页数取数 |
| 8 | 需要取出数据的API 接口文档中没有页数相关的参数，但是接口中有 limit 参数限制接口取数量。 | 获取当前数据表中最大 id 值，每次从最大 id 开始取出100条数据，循环多次，直至取完所有的数据。 | 参数赋值、数据转换（API输入、JSON解析、DB表输出）、循环容器 | API取数-限制取数量且无页数参数 |