1. 概述
1.1 版本
FineDataLink 版本 | 功能变动 |
---|---|
2.0 | - |
4.1.7.3 |
|
4.1.11.1 | 通过定时任务接口调用执行的记录,触发方式记录为:接口调用 任务级重试任务时,提供「重试当前任务及下游」操作 |
4.2.1.1 | 「运行状态」筛选项不再是下拉框形式,而是以复选按钮组形式平铺在页面上 |
查看历史版本更新 | ||||||||||||||||||||||
|
1.2 功能简介
运行记录页面有两个 Tab ,分别为「任务记录」和「运行计划」。
注:只有发布模式下任务会显示运行记录,开发模式下任务运行不会显示运行记录。
「任务记录」Tab 下展示「生产模式」下定时任务运行情况,包括运行状态、任务耗时、触发方式等。
「运行计划」Tab下展示所有调度计划的运行情况。
如下图所示:
2. 任务记录:查看任务运行情况
2.1 任务运行概览
点击「任务运维>定时任务>运行记录」,选择指定的任务或者文件夹,即可看到该文件夹下任务的运行情况,包括运行状态、任务耗时、触发方式等。如下图所示:
2.2 筛选任务运行情况
1)可以筛选「运行状态」(支持多选)、「触发方式」、「脏数据」,也可通过「任务名称」、「任务ID」搜索任务。
若定时任务运行过程中产生了脏数据,可显示脏数据行数。如下图所示:
2)可筛选最近一次/全量记录、自定义周期内的运行记录。如下图所示:
2.3 查看任务运行日志
1)在任务运行记录界面点击「查看详情」,即可看到当次任务运行的日志记录,如下图所示:
点击「统计」,若出现脏数据,可点击查看脏数据详情,同时可以按照错误类型对脏数据进行筛选,并查看报错详情,如下图所示:
2)同时右下角会显示节点执行状态,鼠标悬浮执行状态,可查看节点执行日志。如下图所示:
对于正在运行的任务,任务日志界面支持查看实时运行状态,如下图所示:
2.4 自定义表头字段
用户可自定义表格展示的字段以及展示的字段顺序(不能对「查看详情」和「操作」这两个字段做操作)。如下图所示:
3. 任务记录:重试任务
注:运行中和排队中的实例,不支持重试。
3.1 场景说明
1)用户设计的定时任务取数逻辑为:每天抽取当天调度时间往前推 24h 内的数据,汇集到目标数据库。节假日期间 3 天,系统宕机,定时任务没有运行,导致目标数据库缺少 3 天的数据。
具体示例请参见:补数据示例
2)定时任务在运行过程中某个输出组件出现脏数据,在 配置脏数据阈值 后,定时任务不会停止;定时任务运行结束后运维人员收到推送,发现有脏数据产生。
运维人员打开脏数据处理界面,查看脏数据产生的原因,发现脏数据原因是字段超长,修改目标端字段长度后,希望重新运行任务。
3.2 重试入口
1)有两个入口:
「运行记录」列表中,可点击「重试」按钮。
点击「查看详情」按钮后,当次任务运行的日志记录界面中可看到「重试」按钮。
2)点击「重试」按钮后,界面如下图所示:
有两种重试方式:「指定范围重试」和「任务级重试」。
3.3 指定范围重试
选择「指定范围重试>节点名称」后,右下角可以选择「重试节点」、「重试节点及下游」、「重试至此节点」。界面如下图所示:
各设置项介绍如下表所示:
注:重新运行任务可能导致目标端存在重复数据,用户需根据实际情况进行判断处理。
设置项 | 说明 |
---|---|
重试节点 | 1)适用场景:某个独立节点运行失败,与其他节点无显著关系,如一个「任务调用」节点运行失败 2)功能简介:选择「指定范围重试」才有该选项;用户选择出现脏数据的节点,进行指定重新运行,运行粒度为任务节点,不支持「数据转换」节点中的算子 3)重试时,不展示「备注说明」节点 |
重试节点及下游 | 1)适用场景:用户将一个业务闭环拆解为多个节点,如节点 A 输出参数,节点 B 引用节点 A ,此时出错需要重新运行节点 A+B 2)功能简介:选择「指定范围重试」才有该选项;用户选择出现脏数据的节点,运行该节点及后面的节点(运行情况与节点本身的执行情况和连线情况有关) 运行粒度为任务节点,不支持「数据转换」节点中的算子 3)选择「条件分支」「参数赋值」「虚拟节点」类型的节点时,只能使用:重试节点及下游 |
重试至此节点 | 详情可参见:运行至此节点 |
参数设置 | 进行重试时,用户可以对本次重试时的参数进行临时配置,配置结果只影响本次重试运行、不修改实际任务配置 界面如下图所示: 1)指定业务日期:
2)任务参数: 支持修改 当参数为日期类型时,不能修改为常量,值格式:时间格式+N,或时间格式-N,时间格式:yyyy、yy、mm、dd、hh、mi、ss 自由组合 A 任务依赖 B 任务,对当前 B 任务设置了「指定业务日期」,会触发 A 任务,A 任务会被触发但是执行的时间是当前时间非「指定业务日期」 |
3.4 任务级重试
界面如下图所示:
各设置项介绍如下表所示:
注:重新运行任务可能导致目标端存在重复数据,用户需根据实际情况进行判断处理。
设置项 | 说明 |
---|---|
重试当前任务 | 定时任务整体失败,对任务整体进行重试 |
重试当前任务及下游(4.1.11.1 及之后版本) | 说明: 若为定时任务 A 设置 事件调度 时,设置了下游任务 B ,重试任务 A 时,可选择该按钮,将根据「事件调度」中配置的任务关系&条件内容,判断下游任务 B 是否触发 应用场景: 例如用户设置 A、B 任务触发 D 任务,A、B任务都失败,未触发下游任务 D,希望能够重跑任务,若两个任务均重跑成功则触发下游任务,就可以使用此功能 注:该次手动重试产生的运行记录(包含下游被本次拉起的实例)会参与事件调度条件内容判断(包含定时),判断使用成功触发下游过后不再使用本次的运行记录去参与判断 |
参数设置 | 参考本文 3.3 节内容 |
3.5 产生脏数据后,重试的处理场景
场景 | 增量同步的方式 | 重试后是否会存在数据问题 | 建议处理措施 |
---|---|---|---|
全量同步 | - | 否 | - |
增量同步-使用时间戳 | 动态参数:如:配置 now-1 作为数据范围,每次更新前一天数据 | 是 | 在重试时,用户可以指定本次运行的临时任务参数值 且用户的任务设计需要支持幂等,即同一数据范围的定时任务需要支持多次运行 |
获取目标表的最新数据时间戳 如:每次任务先从目标表获取最大的时间戳,作为本次同步的起始时间 | 是 | 用户需要手动删除目标表大于本批次的数据,以进行重试 且用户的任务设计需要支持幂等,即同一数据范围的定时任务需要支持多次运行 | |
自定义配置表存储断点 如:每次任务最后一步存储本次同步的最大时间至一张表存储 | 是 | 用户需要手工修改断点值,以进行重试 且用户的任务设计需要支持幂等、即同一数据范围的定时任务需要支持多次运行 | |
全表比对 | - | 否 | - |
3.6 重试实例说明
重试任务后,原实例的运行状态不改变,新增重试实例,可与原实例进行关联。如下图所示:
返回原记录后,展开「重试记录」按钮,选择某次的重试记录,可查看该次的重试记录。如下图所示:
3.7 导出记录
4.1.7.3 版本开始支持将运行记录导出为文件,以供查看和使用。
4. 批量删除运行记录/批量终止定时任务
注:4.1.7.3 以及之后的版本不支持删除和批量删除功能。
1)支持批量终止定时任务、批量删除运行记录。
先选中需要删除的运行记录,或者先选中需要终止的实例,再点击批量删除/批量终止按钮。如下图所示:
需注意:
支持一键全选当前页,执行批量终止/删除操作。
批量终止:批量终止正在运行的实例;运行失败、中断、成功、构建失败的实例,不支持终止。
批量删除:运行中的实例(运行中、排队中)不支持删除。
2)点击批量终止/批量删除后,会将执行结果告知用户。如下图所示:
5. 运行计划
1)「运行计划」Tab下展示所有调度计划的运行情况。如下图所示:
2)点击「查看详情」,可查看配置该调度的定时任务的运行情况。如下图所示:
3)点击「查看计划」按钮,将跳转到「调度计划」页面,可在此页面对配制好的调度修改、删除。如下图所示: