历史版本50 :第一个定时开发任务 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:
[helpvideo]8591[/helpvideo]

目录:

1. 入门简介编辑

FineDataLink 是帆软软件推出的一站式数据集成平台。

FineDataLink 从高效专业的角度出发,低代码/高时效融合多种异构数据,帮助企业解决数据孤岛问题,提升企业数据价值。

通过本文,你可以快速了解数据开发定时任务的操作步骤,将一个数据库中的数据处理后,定时抽取到指定数据库中。

1755137258813166.png

你将了解:

  • 定时任务开发界面:熟悉 FineDataLink 数据开发界面。

  • 数据同步:简单了解「数据同步」节点的使用。

  • 数据转换:简单了解「数据转换」节点的使用。

  • 任务发布版本管理:简单熟悉「开发模式」与「生产模式」。

  • 周期性调度:了解如何设置任务的执行频率。


任务示例详情参见官网 Demo:https://demo.finedatalink.com/ 「第一个定时开发任务」。

2. 准备工作编辑

若用户只是想试用功能,无需参考本章内容,直接到 https://demo.finedatalink.com/ 中,参考本文第三章内容设计定时任务。

1)已完成 FineDataLink 工程部署:FineDataLink独立部署

2)确认工程已经注册了相关功能:FineDataLink注册授权

3)创建能够进行数据开发的用户并对用户进行了数据开发权限分配:添加用户与配置通用权限

4)用户登录 FineDataLink 系统后,需要确认已部署好的工程中是否有自己需要的来源和目标数据库。若没有,则需要 新建数据连接,建立数据库与 FineDataLink 之间的联系;或者让管理员为用户 分配数据连接使用权限

注:数据源支持类型详情参见:FineDataLink支持的数据源 

本文示例中,数据来源库为 MySQL,去向库为 SQL Server。如下图所示:

11.png

3. 操作步骤编辑

3.1 场景模拟

某公司销售部门需要分析优秀销售员工的共同特征,希望能够优化招聘标准,并筛选出优秀销售给予奖励或者特别培训。

销量表保存在 demotest 数据库的 sales_records 表中,记录销量数据。如下图所示:

6.png

现在需要筛选出销量前 5 名的数据,并从「人员信息表中查询出这些优秀销售的具体信息,便于总结特征。

「人员信息表」保存在 demotest 数据库中,数据如下图所示:

7.png

3.2 新建定时任务

1)用户进入 FineDataLink 工程,点击数据开发在有权限的文件夹下新建定时任务,将定时任务重命名为第一个定时任务。如下图所示:

8.png

2)默认在「开发模式」下,进行任务设计编辑。如下图所示:

注:开发模式与生产模式详情参见:开发模式与生产模式  

9.png

3.3 将优秀销售 id 输出为参数

3.3.1 取出 TOP5 销量数据

1)拖入「数据转换节点,进入数据转换节点。

2)拖入DB表输入算子,读取销量表数据。如下图所示:

10.png

点击「数据预览,可查看取出的数据。如下图所示:

12.png

3)拖入 Spark SQL 算子,筛选出销量前五的数据。如下图所示:

select * from DB表输入 ORDER BY DB表输入.sales DESC LIMIT 5

注:SQL 语句中的「DB表输入」需要点击输入。

13.png

点击「数据预览,可查看取出的数据。如下图所示:

14.png

3.3.2 将销售 id 输出为参数

1)拖入「参数输出算子,将销售 id 输出为参数,便于后续从「人员信息表」中取出这些 id 对应的人员信息。如下图所示:

注:「参数输出算子功能说明请参见:参数输出

15.png

2)点击左上角的「返回按钮,退出「数据转换节点编辑界面。

3.4 取出优秀销售详细信息

1)「数据转换节点后拖入「数据同步节点。

2)数据来源 Tab 下查询出参数 id 在人员信息表中对应的数据。如下图所示:

SELECT * FROM `demotest`.`人员信息表` where id in (${id})

16.png

点击「数据预览按钮,可查看取出的数据。如下图所示:

17.png

3)数据去向 Tab 中,将数据写入到 SQL Server 数据库中。如下图所示:

18.png

4)写入方式 Tab 中,默认即可。如下图所示:

1755085386101636.png

3.5 效果查看

1)点击「运行按钮,运行定时任务。如下图所示:

20.png

2)定时任务运行成功后,可到目标库中查看目标表数据。如下图所示:

21.png

3.6 发布任务并设置调度

1)回到定时任务,点击「发布按钮,将任务发布到生产模式下。如下图所示:

22.png

2)在生产模式中,点击「调度计划按钮,为定时任务设置执行频率。如下图所示:

23.png

4. 后续步骤编辑

选择一:用户可继续体验 FineDataLink 更多模块:第一个管道任务开发第一个数据服务任务

选择二:用户可继续深入研究「数据开发」模块:数据开发概述

选择三:可按照新手学习路径习题学习 FineDataLink:入门指南