历史版本13 :FDL&简道云&BI组合应用示例 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 背景

某公司使用简道云表单填报获取订单明细数据,并且这些数据需要和数据库中的客户信息「S客户」进行关联,从而构建出客户订单明细宽表;在 FineBI 中使用此数据表制作可视化看板进行订单的数据分析。

当前的数据处理有以下问题:

  • 简道云云上数据无法下云并实现定时更新;

  • 简道云数据无法和其他数据库中数据实现跨库关联,为后续分析所使用。

1.2 思路

通过 FineDataLink 将简道云数据定时更新至数据库中,同时和数据库中的数据跨库取数进行数据关联,输出订单明细宽表,然后将该数据表接入 BI 中进行可视化看板的制作。

本文主要介绍简道云数据落库并实现定时更新;与其他数据库进行跨数据库关联形成宽表后再 BI 中制作可视化看板的全流程。

示例:https://demo.finedatalink.com/ 「02场景案例>帆软产品组合应用>FDL&简道云&BI组合方案」

2. 操作步骤编辑

2.1 场景说明

简道云表单S订单为订单填报数据:https://tea3o334wi.jiandaoyun.com/f/6315aef2aedbe10008a8d12f,需要将该数据落库至指定数据库 FDLDemo 并设置定时更新,每天更新数据。

FRDemo 数据库中存放着「S客户」数据表,为客户维度数据。

现在希望将「S客户」数据与简道云落库后的数据进行数据关联,形成客户订单明细表且该明细表每天定时更新,然后接入 BI 中进行可视化看板制作和使用。

2.2 简道云表单数据落库

在进行简道云数据落库前,需要先对简道云表单中的数据进行处理。

在简道云表单编辑界面,点击「扩展功能>数据推送>设置字段别名」,修改字段名称,如下图所示:

进入 FineDataLink 系统中,新建 ETL 任务「简道云数据定时更新至数据库」,添加数据转换功能,如下图所示:

进入「数据转换」编辑界面,添加「简道云输入」,输入需要处理的表单,如下图所示:

将不需要的数据字段使用字段设置进行删除,如下图所示:

将整理好的简道云数据输出落库至数据库 FDLDemo 中,表名为「jdy_s_order」,首次输出将全量数据写入数据库,如下图所示:

此后可以根据对比订单ID更新新增和更改的数据,如下图所示:

若有删除的数据,可以参考简道云数据定时取数至数据库3.2 节设置更新方式。

2.3 简道云和数据库数据关联

将落库的简道云数据和数据库中已有的数据进行跨数据库关联,形成客户订单明细宽表。

新建 ETL 任务,创建数据转换节点,进入编辑界面,添加 DB 表输入,将 2.2 节的 jdy_s_order 数据取出,如下图所示:

添加 DB 表输入,将存储在 FRDemo 数据库中的 S客户数据取出,如下图所示:

使用「数据关联」将两张数据表通过「客户ID」关联,如下图所示:

将关联后的重复字段「客户ID」删除,如下图所示:

此时已经生成想要的客户订单明细表了,我们将其输出至 FDLDemo 数据库中,新建数据表 order_customer,如下图所示:

首次输出选择自动建表,此后可以根据对比订单ID更新新增和更改的数据,如下图所示:

若有删除的数据,可以参考简道云数据定时取数至数据库3.2 节更新方式。

想要任务定时更新可以进行定时任务调度配置,定期执行任务即可,如下图所示:

2.4 数据表接入BI 进行可视化分析

已经获得了需要的简道云数据表 order_customer ,此时即可将数据库中的宽表直接添加至 FineBI  中,如下图所示:

然后即可制作可视化组件,如下图所示: