1. 概述
1.1 版本
FineDataLink 版本 | 功能变动 |
---|---|
4.1.2 |
|
4.1.4 |
|
4.1.7.1 |
|
查看历史版本更新 | ||||||||||||||||||
|
1.2 功能简介
运行记录页面有两个 Tab ,分别为「任务记录」和「运行计划」。
「任务记录」Tab 下展示定时任务运行情况,包括运行状态、任务耗时、触发方式等。
「运行计划」Tab下展示所有调度计划的运行情况。
如下图所示:
2. 任务记录
2.1 查看任务运行情况
2.1.1 任务运行概览
点击「任务运维>定时任务>运行记录」,选择指定的任务或者文件夹,即可看到该文件夹下任务的运行情况,包括运行状态、任务耗时、触发方式等。如下图所示:
2.1.2 筛选任务运行情况
1)可以筛选「运行状态」、「触发方式」、「脏数据」,也可通过「任务名称」搜索任务。
若定时任务运行过程中产生了脏数据,可显示脏数据行数。如下图所示:
2)可筛选最近一次/全量记录、自定义周期内的运行记录。如下图所示:
2.1.3 查看任务运行日志
1)在任务运行记录界面点击「查看详情」,即可看到当次任务运行的日志记录,如下图所示:
点击「统计」,若出现脏数据,可点击查看脏数据详情,同时可以按照错误类型对脏数据进行筛选,并查看报错详情,如下图所示:
2)同时右下角会显示节点执行状态,鼠标悬浮执行状态,可查看节点执行日志。如下图所示:
对于正在运行的任务,任务日志界面支持查看实时运行状态,如下图所示:
2.1.4 自定义表头字段
用户可自定义表格展示的字段以及展示的字段顺序(不能对「查看详情」和「操作」这两个字段做操作)。如下图所示:
2.1.5 任务界面节点搜索
4.1.7.1 版本支持界面搜索:可对节点/算子进行搜索,并快速定位选中节点/算子,如下图所示:
2.1.6 任务界面导航器
4.1.7.1 版本支持导航器功能:显示画布内容的缩略图;支持拖拽移动视图;支持点击导航器其它区域,可快速定位画布内容,如下图所示:
2.2 重试任务
注:运行中和排队中的实例,不支持重试。
2.2.1 重试入口
有两个入口:
「运行记录」列表中,可点击「重试」按钮。
点击「查看详情」按钮后,当次任务运行的日志记录界面中可看到「重试」按钮。
2.2.2 重试按钮说明
1)点击「重试」按钮,界面如下图所示:
各设置项介绍如下表所示:
注:重新运行任务可能导致目标端存在重复数据,用户需根据实际情况进行判断处理。
设置项 | 说明 |
---|---|
指定范围重试 | 选择「指定范围重试>节点名称」后,右下角可以选择「重试节点」和「重试节点及下游」 |
任务级重试 | 定时任务整体失败,对任务整体进行重试 |
重试节点 | 1)适用场景:某个独立节点运行失败,与其他节点无显著关系,如一个「任务调用」节点运行失败 2)功能简介:选择「指定范围重试」才有该选项;用户选择出现脏数据的节点,进行指定重新运行,运行粒度为任务节点,不支持「数据转换」节点中的算子 3)重试时,不展示「备注说明」节点 |
重试节点及下游 | 1)适用场景:用户将一个业务闭环拆解为多个节点,如节点 A 输出参数,节点 B 引用节点 A ,此时出错需要重新运行节点 A+B 2)功能简介:选择「指定范围重试」才有该选项;用户选择出现脏数据的节点,运行该节点及后面的节点(运行情况与节点本身的执行情况和连线情况有关) 运行粒度为任务节点,不支持「数据转换」节点中的算子 3)选择「条件分支」「参数赋值」「虚拟节点」类型的节点时,只能使用:重试节点及下游 |
重试至此节点 | 详情可参见:运行至此节点 |
参数设置 | 进行重试时,用户可以对本次重试时的参数进行临时配置,配置结果只影响本次重试运行、不修改实际任务配置 界面如下图所示: 1)指定业务日期:
2)任务参数: 支持修改 当参数为日期类型时,不能修改为常量,值格式:时间格式+N,或时间格式-N,时间格式:yyyy、yy、mm、dd、hh、mi、ss 自由组合 A 任务依赖 B 任务,对当前 B 任务设置了「指定业务日期」,会触发 A 任务,A 任务会被触发但是执行的时间是当前时间非「指定业务日期」 |
2)产生脏数据后,重试的处理场景:
场景 | 增量同步的方式 | 重试后是否会存在数据问题 | 建议处理措施 |
---|---|---|---|
全量同步 | - | 否 | - |
增量同步-使用时间戳 | 动态参数:如:配置 now-1 作为数据范围,每次更新前一天数据 | 是 | 在重试时,用户可以指定本次运行的临时任务参数值 且用户的任务设计需要支持幂等,即同一数据范围的定时任务需要支持多次运行 |
获取目标表的最新数据时间戳 如:每次任务先从目标表获取最大的时间戳,作为本次同步的起始时间 | 是 | 用户需要手动删除目标表大于本批次的数据,以进行重试 且用户的任务设计需要支持幂等,即同一数据范围的定时任务需要支持多次运行 | |
自定义配置表存储断点 如:每次任务最后一步存储本次同步的最大时间至一张表存储 | 是 | 用户需要手工修改断点值,以进行重试 且用户的任务设计需要支持幂等、即同一数据范围的定时任务需要支持多次运行 | |
全表比对 | - | 否 | - |
3)重试任务后,原实例的运行状态不改变,新增重试实例,可与原实例进行关联。如下图所示:
返回原记录后,展开「重试记录」按钮,选择某次的重试记录,可查看该次的重试记录。如下图所示:
2.2.3 编辑任务按钮说明
点击右上角的「编辑任务」即可进入任务编辑界面,如下图所示:
2.3 批量删除运行记录/批量终止定时任务
1)支持批量终止定时任务、批量删除运行记录。
先选中需要删除的运行记录,或者先选中需要终止的实例,再点击批量删除/批量终止按钮。如下图所示:
需注意:
支持一键全选当前页,执行批量终止/删除操作。
批量终止:批量终止正在运行的实例;运行失败、中断、成功、构建失败的实例,不支持终止。
批量删除:运行中的实例(运行中、排队中)不支持删除。
2)点击批量终止/批量删除后,会将执行结果告知用户。如下图所示:
3. 运行计划
1)「运行计划」Tab下展示所有调度计划的运行情况。如下图所示:
2)点击「查看详情」,可查看配置该调度的定时任务的运行情况。如下图所示:
3)点击「查看计划」按钮,将跳转到「调度计划」页面,展示该调度的详细配置,可在此页面对配制好的调度修改、删除。如下图所示: