1. 概述编辑
1.1 版本
FineDataLink 版本 | 功能变动 |
---|---|
3.5.1 | 「数据转换」节点新增算子「JSON 解析」;支持将 JSON 结构的数据输出为行列格式 |
1.2 应用场景
用户处在以下场景时:
公司做了一张表,记录员工的打卡数据,其中打卡数据是以 JSON 格式存储的,现在希望对 JSON 格式的数据进行拆解,解析成可以直接分析的二维表。
用户需要获取百度投放的广告点击数据进行分析,百度提供了 API 接口,但是返回的数据并不规则,想要通过 API 接口将需要的字段解析出来存储到自己公司的数据库内用于分析展示。
此时可使用 JSON 解析算子,对输入的数据进行解析。
1.3 功能简介
JSON 解析算子用于解析 JSON 结构的数据,输出行列格式的数据。
2. 示例编辑
2.1 场景模拟
订单数据是以 JSON 格式存储的,保存在接口数据中。如下图所示:
现在希望对 JSON 格式的数据进行拆解,解析成可以直接分析的二维表。如下图所示:
2.2 创建任务
创建一个 ETL 任务,将一个「数据转换」节点拖到设计界面。如下图所示:
2.3 设置数据输入
点击「数据转换」节点,将「API输入」拖到数据转换的设计界面,如下图设置数据来源,取出 API 接口中所有数据。如下图所示:
接口地址:https://api.jiandaoyun.com/api/v4/app/62e9e1c00a99380008a3ccd2/entry/631161c7dc39390008235808/data
注:API 接口数据取数详情参见:API入门
2.4 设置 JSON 解析
再将「JSON解析」拖到设计界面,并使用线条跟它的上游「API 输入」相连。
点击「JSON解析」对它进行设置,取出需要的字段,如下图所示:
「解析配置」界面具体设置项介绍如下表所示:
设置项 | 介绍 |
---|---|
选择JSON | 将直接获取的 JSON 格式数据或者从来源表中选择 JSON 格式数据合并到下拉框可选项中。 如果上游为API输入算子,则默认选择default,如下图所示: 若上游为DB表输入或者其他输入算子,则可以选择需要解析的JSON来源字段,如下图所示: |
解析后保留所有上游输出字段 | 未勾选该按钮,解析后的结果:只保留所选源字段解析后的数据 下图以本文第三章为示例,比较「解析后保留所有上游输出字段」按钮是否勾选的区别: |
解析JSON数据 | 选择 JSON 节点,即可解析: 可手动编辑、删除字段,如下图所示: |
点击「数据预览」,如下图所示:
2.5 设置DB表输出
再将「DB表输出」拖到设计界面,并使用线条跟它的上游「JSON解析」相连。
点击「DB表输出」对它进行设置。如下图所示:
调整写入数据表的字段映射,如下图所示:
2.6 运行任务
1)点击右上角「保存」按钮。点击右上角「保存并运行」,日志有执行成功信息表示任务成功运行。如下图所示:
可以看到数据库 FDLDemo 中新增了一张表 json,为解析后数据。如下图所示: