最新历史版本 :定时任务概述 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:
[helpvideo]13432[/helpvideo]

目录:

1. 概述编辑

1.1 版本

FineDataLink 版本功能变动
1.9-
4.2.10.3新增「调用检测任务节点


查看历史版本更新
FineDataLink 版本功能变动
4.0.14鼠标悬浮至节点列表,会出现节点的用法解释,用户可快速查看当前节点用法
4.0.28新增「Python脚本」节点,支持直接调用 Python 脚本
4.0.29新增「Bat 脚本」节点,支持调用远程 Windows 环境中的 Bat 脚本文件
4.1.5.5新增「文件传输」节点,在API接口/本地/SFTP/FTP之间进行文件下载/上传,实现文件移动
4.1.6.3定时任务禁止被多人同时编辑
4.1.9.1「数据同步-DB输入SQL输入框」、「数据同步-API-body」、「SQL脚本」、「参数赋值-DB输入SQL输入框」、「DB输入算子-SQL输入框」、「API输入算子-body」、「Spark SQL算子」、「Python算子」中支持自动联想参数
4.1.9.3

支持使用回收站对删除的任务进行还原,详情参见:回收

支持「Kettle调用」节点

4.2.0.3

定时任务中数据预览界面中:

  • 鼠标右键点击字段值,出现复制按钮,可复制字段值

  • 若字段值过长,支持拖拽调整列宽

  • 字段值为空字符串时不显示,为 null 值时显示为 null

  • 鼠标左键点击字段值,右侧显示具体字段值,且提供复制按钮

详情请参见:定时任务数据预览优化

1.2 功能简介

「定时任务」模块支持在可视化界面使用各个节点和算子进行数据的抽取、转换和装载,并可以通过定时调度功能自动运行定时任务,帮助您轻松构建离线数仓,保证数据生产的高效稳定。

注:定时任务部分相关概念说明详情参见:定时任务概念

图片1.png

1758511475971278.png

基本特性说明如下表所示:

能力说明
单表定时同步任务调度专题
源表的全量/增量/变化数据同步到目标表中
数据同步方案概述
数据处理能力
可使用节点、算子对数据进行清洗;支持对数据进行复杂处理或计算

支持处理 多种数据源的数据,支持获取存储过程数据并进行处理

支持调用检测任务,对目标表数据进行质量检测,若检测不通过,通知给指定负责人

来源端表结构发生变化

定时任务DDL同步

能够提示来源端数据表的 DDL 变化,并且将变化通知给指定用户,用户需手动进行任务调整

2. 功能说明编辑

2.1 定时任务主要功能

注:4.1.7.3 及之后版本,定时任务支持开发模式和生产模式,实现代码的隔离;开发模式的任务可一键发布上线,将任务发布为生产模式。详情请参见:开发模式与生产模式

类型
描述
数据源

FineDataLink 数据开发>定时任务模块支持多种数据源,可以将多种来源数据进行数据处理和集成

详情请参见:定时任务支持的数据源

任务管理

定时任务中通过「定时任务」存放设计好的业务流程

通过「文件夹」对定时任务进行管理

任务开发

能力丰富:

  • 提供通用的同步节点,支持跨库数据同步和对数据进行清洗计算

  • 提供多种脚本类节点,例如调用Python 脚本、Shell 脚本等等

  • 提供处理复杂逻辑的流程类节点,可结合通用节点进行复杂逻辑处理。例如条件分支、循环执行、输出结果传递等复杂流程控制

操作简单:

  • 可通过拖拽组件方式快速实现任务的混合编排

  • 提供智能化的 SQL 编辑器

  • FineDataLink 支持的节点类型,详情请参见本文 2.2 节内容

体验完善:

  • 血缘分析:可通过血缘分析查看定时任务中的表间关系

  • 生产模式和开发模式:将定时任务的开发编辑区和运行区隔离,所有定时任务的修订和更改通过在开发编辑区完成调试和试运行后,通过发布机制,发布到稳定的运行环境,保证开发和运行互不影响:开发模式与生产模式

  • 定时任务版本管理能对定时任务进行版本追溯和退回原任务设置。

任务调度

任务控制:

支持设置任务超时限制;是否失败重跑

支持设置调度任务优先级;支持设置任务脏数据容忍情况;支持任务结果通知;支持设置任务日志等级

调度计划:

支持设置调度任务的开始日期、执行频率。

支持设置任务的调度依赖,例如设置任务 A、任务 B 执行成功后再执行任务 C 

详细说明:

更多调度相关说明,详情请参见调度计划任务控制概述

任务运维

支持灵活调度、运行状态实时监控,便捷的操作将会释放运维人员巨大的工作量

详细介绍请参见:运维中心概述

其他

2.2 节点介绍

FineDataLink 数据开发>定时任务模块提供多种类型的节点,多种节点配合使用,满足您不同的数据处理需求。

节点是组成定时任务的基本单位,多个节点通过线条连接后可确定执行流程,进而组成一个完整的定时任务。FineDataLink 目前有如下节点:

分类说明节点名称应用场景
通用
用于数据同步数据同步将数据从一个数据库抽取到另一个数据库
用于复杂数据清洗计算数据转换

可执行数据关联、同步删除数据等操作

多种类型的下载/上传文件文件传输功能说明

在API接口/本地/SFTP/FTP之间进行文件下载/上传,实现文件移动

注:仅对文件流本身做同步,而非取文件内容数据。


数据同步与数据转换的区别请参见数据同步与数据转换的区别
脚本通过控制脚本语法实现数据处理SQL脚本写 SQL 语句对数据库中的数据进行处理
Shell脚本通过执行 shell 脚本,对接外部的独立数据处理过程,例如调用Kettle任务、调用Python计算任务等
Python脚本支持直接调用 Python 脚本
Bat 脚本支持调用远程 Windows 环境中的 Bat 脚本文件
Kettle调用
使用SSH连接,调用指定路径下的 kettle 任务
流程进行复杂逻辑处理的流程节点参数赋值用参数承载上游节点运行的结果,然后在下游节点中使用该结果
条件分支基于一个来自于上游或者系统的条件,判断是否继续运行下游节点或者运行下游节点里面的哪一个
虚拟节点希望多个节点可以并行运行后再转到下游节点,可借助该节点实现
调用定时任务可以在当前任务中调用其他任务,这样可以直接设置任务间执行的依赖关系,实现跨任务编排
调用检测任务
可在定时任务中调用 数据检测任务 
消息通知可将任务调度结果以企业微信群机器人/邮件/钉钉/短信的形式通知给指定用户
循环容器
可满足循环取数的场景
其他任务备注说明ETL任务和节点添加备注需要为节点或任务添加备注,例如在任务中备注该任务的具体使用场景。

鼠标悬浮至节点列表,会出现节点的用法解释,用户可快速查看当前节点任务用法。如下图所示:

2.3 操作流程

一个定时任务的开发和使用流程如下图所示:

图片1.png

顺序说明文档
1配置定时任务设计时,数据读取和数据写入的数据源[通用]配置数据连接
2创建定时任务,并进行定时任务的开发参考各节点功能文档
3

通过手动执行任务,根据任务运行日志进行任务调试

运行日志介绍

4发布任务开发模式与生产模式
5设置定时任务调度执行情况

调度计划

定时任务任务控制 

6对已经设置的定时任务进行任务管理和资源控制

定时任务运

负载分配

3. 内容扩展编辑

分类
说明参考文档
设计任务前需知了解定时任务模块能做什么
定时任务能力说明
了解 FDL 中可使用的快捷键
FineDatalink快捷键介绍
  • 影响数据转换内非输入型算子的预览数据条数因素说明

  • 影响定时任务写入数据量的因素说明

定时任务采样量与写入量说明
设计任务时需知根据实际场景,选择数据同步方案
数据同步方案概述
定时任务支持读取、创建、写入分区表
读取、创建、写入分区表
当进行定时任务开发时,能够提示来源端数据表的 DDL 变化,并且将变化通知给指定用户定时任务DDL同步
定时任务中,支持调用数据库存储过程定时任务调用数据库存储过程
定时任务设计区域中,支持单个/多个节点的复制粘贴节点支持复制粘贴
支持在设计定时任务时,为节点或任务添加备注备注
用户希望定时任务执行失败后,可以自定义错误处理流程。比如定时任务执行失败后,在企业微信群中通知连线执行判断
调试任务需知支持设置节点时,选择运行到此处,便于查看上游配置结果和调试运行至此节点
4.1.6.3 及之后版本,定时任务禁止被多人同时编辑任务禁止被多人同时编辑
支持禁用节点及下游节点节点支持禁用

可视化展示父子任务层级调用关系,用户可查看该定时任务被哪些任务调用,以及该任务调用了哪些任务

可视化展示任务间调度依赖关系,辅助事件调度决策

任务关系
用户有多名开发人员,为防止自己的定时任务被他人误操作修改,希望能对定时任务进行版本追溯和退回原任务设置,降低工作量返工定时任务版本管理
任务运维指导当用户设计好定时任务后,可以管理定时任务、监控任务运行状态和查看任务运行日志等

本文列举定时任务的常见运维操作

定时任务运维指导
其他功能说明
FineDataLink 支持将定时任务从 A 系统中导出并导入至 B 系统定时任务导入导出

FineDataLink 支持在「数据转换」的输入型算子中进行「样本设置」,即在预览界面,设置用多少数据去参与运算,便于进行计算后的预览结果校验。

定时任务数据量说明
最佳实践多节点、算子配合使用实现复杂场景;API取数最佳实践;与FR、BI、简道云配合使用案例等最佳实践合集

4. 注意事项编辑

4.1 SQL 语句注释说明

4.0.17 版本之前,FineDataLink 忽略对 SQL 语句注释的处理;4.0.17 及之后版本,SQL 语句的注释交给数据库执行。

用户需注意 SQL 语句注释的书写规范:单行注释之后要有一个空格;Hive 数据源不支持多行注释。