1. 概述
1.1 背景
某公司使用简道云表单填报获取订单明细数据,并且这些数据需要和数据库中的客户信息「S客户」进行关联,从而构建出客户订单明细宽表;在 FineBI 中使用此数据表制作可视化看板进行订单的数据分析。
当前的数据处理有以下问题:
简道云云上数据无法下云并实现定时更新;
简道云数据无法和其他数据库中数据实现跨库关联,为后续分析所使用。
1.2 思路
通过 FineDataLink 将简道云数据定时更新至数据库中,同时和数据库中的数据跨库取数进行数据关联,输出订单明细宽表,然后将该数据表接入 BI 中进行可视化看板的制作。
本文主要介绍简道云数据落库并实现定时更新;与其他数据库进行跨数据库关联形成宽表后再 BI 中制作可视化看板的全流程。
2. 操作步骤
2.1 场景说明
简道云表单S订单为订单填报数据:https://tea3o334wi.jiandaoyun.com/f/6315aef2aedbe10008a8d12f,需要将该数据落库至指定数据库 demotest 并设置定时更新,每天更新数据。
FDLDemo 数据库中存放着「S客户」数据表,为客户维度数据。
现在希望将「S客户」数据与简道云落库后的数据进行数据关联,形成客户订单明细表且该明细表每天定时更新,然后接入 BI 中进行可视化看板制作和使用。
2.2 简道云表单数据落库
在进行简道云数据落库前,需要先对简道云表单中的数据进行处理。
在简道云表单编辑界面,点击「扩展功能>数据推送>设置字段别名」,修改字段名称,如下图所示:
进入 FineDataLink 系统中,新建定时任务「简道云数据定时更新至数据库」,添加数据转换节点,如下图所示:
进入「数据转换」编辑界面,添加「简道云输入」,输入需要处理的表单,如下图所示:
将不需要的数据字段使用字段设置进行删除,如下图所示:
将整理好的简道云数据输出落库至数据库 demotest 中,表名为「jdy_order」,首次输出将全量数据写入数据库,如下图所示:
此后可以根据对比「订单ID」更新新增和更改的数据,如下图所示:
若有删除的数据,可以参考简道云数据增删改同步至数据库 2.4 节主表单数据变化同步。
2.3 简道云和数据库数据关联
将落库的简道云数据和数据库中已有的数据进行跨数据库关联,形成客户订单明细宽表。
新建定时任务,拖入数据转换节点,进入编辑界面,添加「DB表输入」,将 2.2 节的「jdy_order」数据取出,如下图所示:
添加「DB表输入」,将存储在 FDLDemo 数据库中的「S客户」数据取出,如下图所示:
使用「数据关联」将两张数据表通过「客户 ID」关联,如下图所示:
将关联后的重复字段「客户 ID」删除,如下图所示:
此时已经生成想要的客户订单明细表了,我们将其输出至 demotest 数据库中,新建数据表 order_cust,如下图所示:
首次输出选择自动建表,此后可以根据对比订单ID更新新增和更改的数据,如下图所示:
若有删除的数据,可以参考简道云数据增删改同步至数据库 2.4 节主表单数据变化同步。
想要任务定时更新可以进行调度计划,保存后发布定时任务到生产模式,点击「调度计划>定时调度>添加单个调度」定期执行任务即可,如下图所示:
2.4 数据表接入BI 进行可视化分析
已经获得了需要的简道云数据表 order_cust ,此时即可将数据库中的宽表直接添加至 FineBI 中,如下图所示:
然后即可制作可视化组件,如下图所示: