1. 概述
本文系统梳理了在 FineDataLink 平台中接入应用数据源的完整操作路径,涵盖从数据源配置、定时管道任务搭建、数据处理到跨产品使用的全流程。
通过标准化操作步骤,帮助用户实现云上应用数据的高效归集、处理及价值挖掘。
2. 准备工作
2.1 前提条件
需具备的要素 | 说明 |
---|---|
工程部署 | 已完成 FineDataLink 工程部署 |
注册功能点 | 确认工程已经注册了相关功能,如「应用系统(云端)」、定时管道、定时任务、数据源,详情参见文档:注册简介 |
创建用户 | 创建能够进行数据开发的用户并对用户进行了数据开发权限分配:添加用户与配置通用权限 |
数据源 | 需要确认已部署好的工程中是否有自己需要的来源和目标数据库 |
2.2 数据来源-应用系统(云端)
1)在应用系统分类下选择需要连接的应用数据源,例如旺店通(旗舰版)数据源,如下图所示:
详情参见文档:应用系统(云端)
2)在信息配置页,请填写相关信息连接应用数据源。如下图所示:
2.3 数据去向-数据库
请准备好应用数据写入的数据库,新建数据连接如下图所示:
注:支持的去向数据源请参见 定时管道支持的数据源
3. 数据连接-定时管道任务
在定时管道任务中,支持对接云上应用数据源,并实现主子表取数解析。支持自定义任务配置与调度,提供全流程运行监控能力,有效提升对接效率,降低运维成本。
详情参见文档:配置定时管道任务
3.1 选择数据来源/去向
1)进入 FineDataLink 工程后,点击「数据管道>定时管道」,可新建定时管道任务。如下图所示:
2)根据实际情况选择数据来源、数据去向的数据连接。如下图所示:
3.2 测试连通性
分别点击「测试连接」按钮,确认数据来源与去向的连接是否成功。如下图所示:
3.3 选择同步表
1)点击「添加表」按钮,可在列表中选择需要同步的表。如下图所示:
2)设置表的同步起点,确定同步的范围。并设置表的输入类型,这里选择「以子表输出」,输出的子表数据可通过主表的主键进行关联。设置完成后,点击「确定」。如下图所示:
注:建议首次同步拉取近一周的数据验证一下,没有问题再在运行时指定更早的起始时间进行同步。
3.4 简单数据处理
1)添加完表后,可对数据进行简单处理,例如修改表名为英文、修改字段名、修改字段类型、非空约束等操作。如下图所示:
2)设置完成后保存,列表中将展示同步表的相关配置信息。如下图所示:
3.5 同步数据
1)选择某一张表,点击「运行」,测试一下当前的数据入库结果。如下图所示:
2)若配置无误,可为任务配置「定时调度」,定时同步数据。
4. 数据处理-定时任务
在定时任务中,支持在可视化界面使用各个节点和算子进行数据的抽取、转换和装载,并可以通过定时调度功能自动运行定时任务,帮助您轻松构建离线数仓,保证数据生产的高效稳定。
详情参见文档:定时任务概述
4.1 理解表信息
点击查看表信息,弹窗中展示接口信息、平台界面路径、取数范围等等。复制 API 文档链接并在浏览器中粘贴打开,即可查看该表的字段说明。
4.2 配置定时任务
1)在定时任务中,支持对接「定时管道任务」输出的数据库表,使用节点和算子对数据进行处理。如下图所示:
2)可以使用「数据集输出」算子,将处理好的数据直接写入到 FineBI 「公共数据」中,实现跨产品的数据调用。
5. 数据使用
5.1 在 FineBI 中使用数据
进入 FineBI 的公共数据中查看数据,可创建主题对公共数据进行分析。如下图所示:
5.2 在 FineReport 中使用数据
在 FineReport 中,可以连接定时管道任务中的去向数据库,对接数据库中的表。如下图所示: