1. 入门简介
FineDataLink 是帆软软件推出的一站式数据集成平台。
FineDataLink 从高效专业的角度出发,低代码/高时效融合多种异构数据,帮助企业解决数据孤岛问题,提升企业数据价值。
通过本文,你可以快速了解数据开发定时任务的操作步骤,将一个数据库中的数据处理后,定时抽取到指定数据库中。
你将了解:
定时任务开发界面:熟悉 FineDataLink 数据开发界面。
数据同步:简单了解「数据同步」节点的使用。
数据转换:简单了解「数据转换」节点的使用。
任务发布版本管理:简单熟悉「开发模式」与「生产模式」。
周期性调度:了解如何设置任务的执行频率。
任务示例详情参见官网 Demo:https://demo.finedatalink.com/ 「第一个定时开发任务」。
2. 准备工作
若用户只是想试用功能,无需参考本章内容,直接到 https://demo.finedatalink.com/ 中,参考本文第三章内容设计定时任务。
1)已完成 FineDataLink 工程部署:FineDataLink独立部署
2)确认工程已经注册了相关功能:FineDataLink注册授权
3)创建能够进行数据开发的用户并对用户进行了数据开发权限分配:添加用户与配置通用权限
4)用户登录 FineDataLink 系统后,需要确认已部署好的工程中是否有自己需要的来源和目标数据库。若没有,则需要 新建数据连接,建立数据库与 FineDataLink 之间的联系;或者让管理员为用户 分配数据连接使用权限。
注:数据源支持类型详情参见:FineDataLink支持的数据源
本文示例中,数据来源库为 MySQL,去向库为 SQL Server。如下图所示:
3. 操作步骤
3.1 场景模拟
示例数据:sales_records.xls、人员信息表.xlsx
某公司销售部门需要分析优秀销售员工的共同特征,希望能够优化招聘标准,并筛选出优秀销售给予奖励或者特别培训。
销量表保存在 demotest 数据库的 sales_records 表中,记录销量数据。如下图所示:
现在需要筛选出销量前 5 名的数据,并从「人员信息表」中查询出这些优秀销售的具体信息,便于总结特征。
「人员信息表」保存在 demotest 数据库中,数据如下图所示:
3.2 新建定时任务
1)用户进入 FineDataLink 工程,点击「数据开发」,在有权限的文件夹下新建定时任务,将定时任务重命名为「第一个定时任务」。如下图所示:
2)默认在「开发模式」下,进行任务设计编辑。如下图所示:
注:开发模式与生产模式详情参见:开发模式与生产模式
3.3 将优秀销售 id 输出为参数
3.3.1 取出 TOP5 销量数据
1)拖入「数据转换」节点,进入「数据转换」节点。
2)拖入「DB表输入」算子,读取销量表数据。如下图所示:
点击「数据预览」,可查看取出的数据。如下图所示:
3)拖入 Spark SQL 算子,筛选出销量前五的数据。如下图所示:
select * from DB表输入 ORDER BY DB表输入.sales DESC LIMIT 5
注:SQL 语句中的「DB表输入」需要点击输入。
点击「数据预览」,可查看取出的数据。如下图所示:
3.3.2 将销售 id 输出为参数
1)拖入「参数输出」算子,将销售 id 输出为参数,便于后续从「人员信息表」中取出这些 id 对应的人员信息。如下图所示:
注:「参数输出」算子功能说明请参见:参数输出
2)点击左上角的「返回」按钮,退出「数据转换」节点编辑界面。
3.4 取出优秀销售详细信息
1)「数据转换」节点后拖入「数据同步」节点。
2)数据来源 Tab 下查询出参数 id 在人员信息表中对应的数据。如下图所示:
SELECT * FROM `demotest`.`人员信息表` where id in (${id})
点击「数据预览」按钮,可查看取出的数据。如下图所示:
3)数据去向 Tab 中,将数据写入到 SQL Server 数据库中。如下图所示:
4)写入方式 Tab 中,默认即可。如下图所示:
3.5 效果查看
1)点击「运行」按钮,运行定时任务。如下图所示:
2)定时任务运行成功后,可到目标库中查看目标表数据。如下图所示:
3.6 发布任务并设置调度
1)回到定时任务,点击「发布」按钮,将任务发布到生产模式下。如下图所示:
2)在生产模式中,点击「调度计划」按钮,为定时任务设置执行频率。如下图所示: