反馈已提交

网络繁忙

定时任务运维-运行记录

  • 文档创建者:Wendy123456
  • 历史版本:16
  • 最近更新:Roxy 于 2024-09-13
  • 1. 概述

    1.1 版本

    FineDataLink 版本功能变动
    2.0-
    4.1.7.3
    • 记录读写过程日志\异常和错误日志使用过程中产生的过程日志,支持将运行记录导出为文件,以供查看和使用,详情参见本文 3.7 节

    • 支持以「任务ID」筛选运行记录。

    • 由于运行记录数据存储位置由 FineDB 改到了 LogDB 中,因此屏蔽了「删除」、「批量删除」运行记录的功能。

    4.1.11.1

    通过定时任务接口调用执行的记录,触发方式记录为:接口调用

    任务级重试任务时,提供「重试当前任务及下游」操作

    查看历史版本更新
    FineDataLink 版本功能变动
    3.4
    「任务概览」处新增「最近一次运行中断的任务」、「正在运行中的任务」
    4.0.1错误日志显示优化
    4.0.3「任务概览」处新增「最近一次运行报错任务数」
    4.0.17
    • 支持回溯历史任务的运维记录

    • 支持查看任务运行时长

    • 优化任务运维的页面结构,增加列表筛选功能,可根据时长、任务状态等不同条件快速筛选对应任务

    4.0.18任务运行记录支持查看节点运行状态
    4.0.29
    • 「运行记录>任务记录」中,表格新增「脏数据」列,展示脏数据行

    • 「运行记录>任务记录」中,点击运行实例右侧的「查看详情」按钮,可重试任务、查看重试记录;重试任务后,原实例的运行状态不改变,新增重试实例,可与原实例进行关联

    • 「运行记录>任务记录」中,可根据最近一次/全量记录、不同周期筛选任务运行记录

    4.0.30
    • 「运行记录」中,触发方式筛选条件新增「事件」

    • 运行计划页面:取消调度计划名的蓝色文字链接

    4.1.1
    • 「运行记录」页面的指标卡运行中,新增排队中;失败指标卡中,新增运行、构建两个维度

    • 「运行记录」页面的筛选条件运行状态下拉框中,新增构建失败

    4.1.2
    • 实例重试时,新增「指定业务日期」设置项

    • 「运行记录」列表中,新增「重试」按钮

    • 运行中和排队中的实例,不支持重试

    • 重试任务的「参数设置」步骤中,删除「添加参数」的功能

    • 点击定时任务产生的脏数据,可显示具体错误堆栈,并可按照错误类型筛选

    4.1.4
    • 重试任务时,支持重试至某个节点

    • 支持批量终止定时任务;支持批量删除运行记录

    • 表格上方筛选条件右侧,新增重置按钮

    1.2 功能简介

    运行记录页面有两个 Tab ,分别为「任务记录」和「运行计划」。

    注:只有发布模式下任务会显示运行记录,开发模式下任务运行不会显示运行记录。

    • 「任务记录」Tab 下展示「生产模式」下定时任务运行情况,包括运行状态、任务耗时、触发方式等。

    • 「运行计划」Tab下展示所有调度计划的运行情况。

    如下图所示:

    7.png

    2. 任务记录:查看任务运行情况

    2.1 任务运行概览

    点击「任务运维>定时任务>运行记录」,选择指定的任务或者文件夹,即可看到该文件夹下任务的运行情况,包括运行状态、任务耗时、触发方式等。如下图所示:

    8.png

    2.2 筛选任务运行情况

    1)可以筛选「运行状态」、「触发方式」、「脏数据」,也可通过「任务名称」和「任务ID」搜索任务。

    若定时任务运行过程中产生了脏数据,可显示脏数据行数。如下图所示:

    9.png

    2)可筛选最近一次/全量记录、自定义周期内的运行记录。如下图所示:

    10.png

    2.3 查看任务运行日志

    1)在任务运行记录界面点击「查看详情」,即可看到当次任务运行的日志记录,如下图所示:

    1704179791684197.png

    点击「统计」,若出现脏数据,可点击查看脏数据详情,同时可以按照错误类型对脏数据进行筛选,并查看报错详情,如下图所示:

    11.png

    2)同时右下角会显示节点执行状态,鼠标悬浮执行状态,可查看节点执行日志。如下图所示:

    12.png

    对于正在运行的任务,任务日志界面支持查看实时运行状态,如下图所示:

    28.gif

    2.4 自定义表头字段

    用户可自定义表格展示的字段以及展示的字段顺序(不能对「查看详情」和「操作」这两个字段做操作)。如下图所示:

    1704179941435963.png

    3. 任务记录:重试任务

    注:运行中和排队中的实例,不支持重试。

    3.1 场景说明

    1)用户设计的定时任务取数逻辑为:每天抽取当天调度时间往前推 24h 内的数据,汇集到目标数据库。节假日期间 3 天,系统宕机,定时任务没有运行,导致目标数据库缺少 3 天的数据。

    具体示例请参见:补数据示例

    2)定时任务在运行过程中某个输出组件出现脏数据,在 配置脏数据阈值 后,定时任务不会停止;定时任务运行结束后运维人员收到推送,发现有脏数据产生。

    运维人员打开脏数据处理界面,查看脏数据产生的原因,发现脏数据原因是字段超长,修改目标端字段长度后,希望重新运行任务。

    3.2 重试入口

    1)有两个入口:

    • 「运行记录」列表中,可点击「重试」按钮。

    • 点击「查看详情」按钮后,当次任务运行的日志记录界面中可看到「重试」按钮。

    15.png

    2)点击「重试」按钮后,界面如下图所示:

    有两种重试方式:指定范围重试任务级重试

    1724740843139418.png

    3.3 指定范围重试

    选择「指定范围重试>节点名称」后,右下角可以选择「重试节点」、「重试节点及下游」、重试至此节点」。界面如下图所示:

    1724741313609581.png

    各设置项介绍如下表所示:

    注:重新运行任务可能导致目标端存在重复数据,用户需根据实际情况进行判断处理。

    设置项
    说明
    重试节点1)适用场景:某个独立节点运行失败,与其他节点无显著关系,如一个「任务调用」节点运行失败

    2)功能简介:选择「指定范围重试」才有该选项;用户选择出现脏数据的节点,进行指定重新运行,运行粒度为任务节点,不支持「数据转换」节点中的算子

    3)重试时,不展示「备注说明」节点

    重试节点及下游

    1)适用场景:用户将一个业务闭环拆解为多个节点,如节点 A 输出参数,节点 B 引用节点 A ,此时出错需要重新运行节点 A+B

    2)功能简介:选择「指定范围重试」才有该选项;用户选择出现脏数据的节点,运行该节点及后面的节点(运行情况与节点本身的执行情况和连线情况有关)

    运行粒度为任务节点,不支持「数据转换」节点中的算子

    3)选择条件分支参数赋值虚拟节点类型的节点时,只能使用:重试节点及下游

    重试至此节点详情可参见:运行至此节点
    参数设置

    进行重试时,用户可以对本次重试时的参数进行临时配置,配置结果只影响本次重试运行、不修改实际任务配置

    界面如下图所示:

    10.png

    1)指定业务日期:

    • 使用场景:定时任务中使用了 自定义时间参数 aa,值为 yyyy-mm-dd,原定 2023-11-01 16:30:00 运行的实例,因为网络原因,运行失败,两天后想重跑任务,可指定业务日期为 2023-11-01 hh:mm:ss(由于参数值为 yyyy-mm-dd,hh:mm:ss可随意设置),此时任务会使用 aa=2023-11-01 重跑

    • 默认值为实例原本调度开始的时间。如下图所示:

    11.png

    • 可以为空,若为空则等同于手动运行任务。指定「业务日期」的值,会在重试时,赋值给内置参数 ${cyctime},及基于 ${cyctime} 延伸出来的 自定义时间变量(任务参数、全局参数里定义的时间类型参数)

    2)任务参数:

    支持修改

    当参数为日期类型时,不能修改为常量,值格式:时间格式+N,或时间格式-N,时间格式:yyyy、yy、mm、dd、hh、mi、ss 自由组合

    A 任务依赖 B 任务,对当前 B 任务设置了「指定业务日期」,会触发 A 任务,A 任务会被触发但是执行的时间是当前时间非指定业务日期

    3.4 任务级重试

    界面如下图所示:

    18.png

    各设置项介绍如下表所示:

    注:重新运行任务可能导致目标端存在重复数据,用户需根据实际情况进行判断处理。

    设置项
    说明
    重试当前任务
    定时任务整体失败,对任务整体进行重试
    重试当前任务及下游(4.1.11.1 及之后版本)

    说明:

    若为定时任务 A 设置 事件调度 时,设置了下游任务 B ,重试任务 A 时,可选择该按钮,将根据「事件调度」中配置的任务关系&条件内容,判断下游任务 B 是否触发

    应用场景:

    例如用户设置 A、B 任务触发 D 任务,A、B任务都失败,未触发下游任务 D,希望能够重跑任务,若两个任务均重跑成功则触发下游任务,就可以使用此功能

    19.png

    注:该次手动重试产生的运行记录(包含下游被本次拉起的实例)会参与事件调度条件内容判断(包含定时),判断使用成功触发下游过后不再使用本次的运行记录去参与判断

    参数设置
    参考本文 3.3 节内容

    3.5 产生脏数据后,重试的处理场景

    场景
    增量同步的方式
    重试后是否会存在数据问题
    建议处理措施
    全量同步
    --
    增量同步-使用时间戳


    动态参数:如:配置 now-1 作为数据范围,每次更新前一天数据


    在重试时,用户可以指定本次运行的临时任务参数值

    且用户的任务设计需要支持幂等,即同一数据范围的定时任务需要支持多次运行

    获取目标表的最新数据时间戳

    如:每次任务先从目标表获取最大的时间戳,作为本次同步的起始时间

    用户需要手动删除目标表大于本批次的数据,以进行重试

    且用户的任务设计需要支持幂等,即同一数据范围的定时任务需要支持多次运行

    自定义配置表存储断点

    如:每次任务最后一步存储本次同步的最大时间至一张表存储

    用户需要手工修改断点值,以进行重试

    且用户的任务设计需要支持幂等、即同一数据范围的定时任务需要支持多次运行

    全表比对--

    3.6 重试实例说明

    重试任务后,原实例的运行状态不改变,新增重试实例,可与原实例进行关联。如下图所示:

    20.png

    返回原记录后,展开「重试记录」按钮,选择某次的重试记录,可查看该次的重试记录。如下图所示:

    21.png

    3.7 导出记录

    4.1.7.3 版本开始支持将运行记录导出为文件,以供查看和使用。

    22.png

    4. 批量删除运行记录/批量终止定时任务

    注:4.1.7.3 以及之后的版本不支持删除和批量删除功能。

    1)支持批量终止定时任务、批量删除运行记录。

    先选中需要删除的运行记录,或者先选中需要终止的实例,再点击批量删除/批量终止按钮。如下图所示:

    需注意:

    • 支持一键全选当前页,执行批量终止/删除操作。

    • 批量终止:批量终止正在运行的实例;运行失败、中断、成功、构建失败的实例,不支持终止。

    • 批量删除:运行中的实例(运行中、排队中)不支持删除。

    13.png

    2)点击批量终止/批量删除后,会将执行结果告知用户。如下图所示:

    1704352054366545.png

    5. 运行计划

    1)「运行计划」Tab下展示所有调度计划的运行情况。如下图所示:

    23.png

    2)点击「查看详情」,可查看配置该调度的定时任务的运行情况。如下图所示:

    24.png

    3)点击1724744188321479.png「查看计划」按钮,将跳转到「调度计划」页面,可在此页面对配制好的调度修改、删除。如下图所示:

    26.png






    附件列表


    主题: 任务运维
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持