1. 概述
1.1 版本
FineDataLink 版本 | 功能变动 |
---|---|
1.9 | - |
4.1.4 |
|
4.1.5.3 | 连线自动吸附支持控制是否开启 |
4.1.6.5 |
|
4.1.7.1 |
|
4.2.7.4 | 数据转换内新增「日志&统计」信息,展示输入、输出算子的相关信息 |
4.2.8.4 | 统计信息中支持查看脏数据详情,支持「导出脏数据明细」 |
4.2.9.1 | 1)优化面板展示效果,新增「放大」、「恢复」按钮,支持面板一键最大化; 2)日志展示形式优化:
|
4.2.9.3 | 画布标签页操作优化 |
查看历史版本更新 | ||||||||||||||||||
|
1.2 功能简介
本文对「数据开发」下的「定时任务」模块的界面进行详细描述和解释,以帮助用户更好地了解该模块的功能和使用方法。
2. 任务列表
任务列表中用户可查看和编辑所有有 权限 的定时任务。
2.1 定时任务
鼠标点击某个定时任务右侧的标志,可修改任务名称与描述、将任务移动到某个路径下、将任务复制到某个路径下、删除任务、导出任务。如下图所示:
说明如下:
1)复制的任务的节点/算子配置、参数设置、调度配置中的超时限制、失败重试、结果通知、画布布局都支持保留,但定时任务的「开启调度」不保留。
2)4.1.6.5 及之后版本,支持拖拽定时任务来改变其位置:
所有用户均可手动拖拽有权限的定时任务。
拖拽结果对所有用户生效。
升级到 4.1.6.5 及之后版本后,目录树均初始化为「按名称排序」的结果。
某用户从上到下看到的定时任务为 5、1、7;管理员从上到下看到的定时任务为 5、6、1、9、7;该用户将 7 挪到 5 和 1 之间,管理员侧将看到 7 在 1 上面,在 6 下面;即被挪动的任务紧靠下方的那个目标节点(目标节点为 5 和 1,1为靠下的位置)。
3)「移动到」按钮说明:该按钮不支持改变位次,只能改变所在文件夹;不支持移动到所在文件夹(文件夹 A 中的任务不能移动到文件夹 A);在文件夹 A 中的定时任务,点击「移动到」按钮,移动到文件夹 B ,定时任务移动后,将位于文件夹 B 的末尾;「移动到」效果对所有用户生效。
4)4.1.6.5 及之后版本,「重命名」按钮被替换为「名称与描述按钮」;点击「名称与描述按钮」,可修改定时任务的名称与描述。如下图所示:
注1:任务名称最多 60 个字符,任务描述最多 300 个字符。
注2:若升级前任务名称已超过 60 字符,升级后,保留任务名称,修改任务名称时,限制 60 字符。
添加描述后,鼠标悬浮在定时任务上,可显示定时任务的名称与描述。如下图所示:
若某定时任务没有添加描述,鼠标悬浮在定时任务上,只显示任务名称。
5)新建定时任务时,可设置定时任务的位置、名称、描述。如下图所示:
注:任务名称最多 60 个字符,任务描述最多 300 个字符。
2.2 文件夹
鼠标点击某个文件夹右侧的标志,可对该文件夹做重命名、移动到某个路径下、删除操作。如下图所示:
4.1.6.5 及之后版本,文件夹支持拖拽来挪动其顺序,具体说明可参见本文 2.1 节的定时任务拖拽说明。
3. 画布
3.1 节点基础操作
在画布中,支持添加节点来实现任务的设计。详情参见文档:节点基础操作
3.2 画布导航器
4.1.7.1 版本支持导航器功能,可显示画布内容的缩略图;支持拖拽移动视图;支持点击导航器其它区域,可快速定位画布内容,如下图所示:
对搜索和视图导航功能提供新手引导,如下图所示:
3.3 移动设计界面画布
在设计界面按住键盘空格键,然后拖动鼠标光标,可以移动任务整体画布,操作如下图所示:
同时可以将任务无限拓展画布区域。如下图所示:
3.4 标签页
1)打开多个定时任务时,支持左右拖拽标签页更换打开顺序。如下图所示:
2)4.2.9.3 及之后版本,增加标签页操作。鼠标右键点击标签页,支持:关闭、关闭其他、关闭全部。当标签页打开过多,切换标签页时形成干扰,可以快捷地批量关闭标签页。如下图所示:
4. 任务工具栏
4.1 运行和终止任务
设计好的定时任务可以点击工具栏的「运行」来运行,如果需要中途强制终止任务,可以点击「终止」,操作如下图所示:
4.2 参数设置
工具栏中的「参数设置」可以让用户自定义一些参数,详细介绍参见文档:自定义参数
4.3 调度计划
详情请参见:调度计划
调度计划中,可为定时任务添加「定时调度」和「事件调度」。
定时调度:可为定时任务设置执行频率,定期自动运行定时任务,以保证数据能够及时更新,一个定时任务可设置多个执行频率。
事件调度:可设置任务的调度依赖。例如:数仓构建过程中 ODS 层有 a、b、c 任务互不影响、DW 层有 d 、f 任务,需要 a、b 任务执行完触发 d 任务,来减少 DW 层对 ODS 层完全更新完等待的时间;若 a、b 执行失败则不触发,来避免数据准确性的问题。
4.4 任务控制
定时任务的「任务控制」中,包含 3 个 Tab ,可为定时任务设置失败重试次数、超时时间、脏数据容忍行数、执行失败通知方式、任务优先级等。如下图所示:
详情请参见:任务控制概述
5. 日志
任务日志展示区域的「日志」页可以查看当前任务的执行情况。日志内容详细说明请参见:运行日志介绍
4.2.7.4 及之后版本,「数据转化」内新增「日志」tab,支持查看输入、输出算子的日志信息。
4.2.9.1 及之后版本,新增「查找」按钮,可输入关键词查找日志信息。如下图所示:
节点右下角会显示执行状态,鼠标悬浮执行状态,可查看节点执行日志。如下图所示:
4.2.9.1 及之后版本,节点运行状态为:正在执行、执行成功、执行失败、终止执行,数据同步、数据转换、参数赋值节点新增「后端日志Job号」信息。
可使用 Job 号,在后端日志中定位节点信息。
6. 统计
6.1 统计信息
任务日志展示区域的「统计」页可以查看「数据同步」节点和「数据转换」节点的读写信息。
注1:表格中「总流量」字段代表读取和写入的数据量,所占用的流量。
注2:「统计」中,只统计包含输入、输出的节点,例如数据同步节点、数据转换节点等。
4.2.7.4 及之后版本,「数据转化」内新增「统计」tab,支持查看输入、输出算子的统计结果。
在统计结果中,「数据流结果」列支持展示输出算子是否执行成功。如下图所示:
6.2 脏数据信息
6.2.1 查看脏数据
若定时任务运行过程中有脏数据,也展示脏数据信息;点击脏数据行数可展开查看各错误原因分类下的脏数据条数。
同时可以按照错误类型对脏数据进行筛选,并查看报错详情,如下图所示:
6.2.2 导出脏数据
4.2.8.4 及之后版本,统计信息中支持查看脏数据详情,支持「导出脏数据明细」。如下图所示:
注 1:脏数据导出行数限制 1 万条;
注 2:脏数据清理策略跟随「日志清理」配置,入口为「管理系统->智能运维->平台日志->全局设置->日志清理」;若 LogDB 中脏数据记录被清除,此处脏数据明细会丢失。