Running Log Introduction

  • Last update: November 16, 2023
  • 1. 概述

    1.1 版本

    FineDataLink 版本功能变动
    1.9

    日志新增:写入数据行数、更新数据行数

    3.4

    显示的具体日志中,将「中止」改为「终止」

    4.0.1任务运行日志优化,提供更准确的日志信息,降低用户排查问题的成本

    1.2 功能简介

    定时任务运行后,将会产生运行日志,便于用户查看任务运行情况,如下图所示:

    27.png

    本文介绍在「日志」这个 Tab 页下,具体显示内容。

    1.3 注意事项

    一个定时任务中有多个流程,在执行后如果有一个流程执行失败,其他流程执行成功的话,整个定时任务的状态是失败的,但是其中的部分流程是执行成功的。

    2. 示例

    2.1 节点运行状态

    所有节点都具备 5 种运行状态:正在执行、执行成功、执行失败、终止执行、跳过执行。

    状态日志格式
    正在执行非抽数类节点:

    yyyy-mm-dd hh:mm:ss 开始执行【节点名称】

    正在执行【节点名称】...

    抽数类节点:

    yyyy-mm-dd hh:mm:ss 开始执行【节点名称】

    - 启动时刻:yyyy-mm-dd hh:mm:ss

    - 实时读取速度: nB/s, n行/s

    - 实时写入速度: nB/s, n行/s

    - 累计写入行数: n行

    - 累计更新行数: n行

    - 写入失败行数: n行

    正在执行【节点名称】...

    执行成功yyyy-mm-dd hh:mm:ss 开始执行【节点名称】

    yyyy-mm-dd hh:mm:ss 执行成功【节点名称】

    执行失败yyyy-mm-dd hh:mm:ss 开始执行【节点名称】

    yyyy-mm-dd hh:mm:ss 执行失败【节点名称】

    终止执行yyyy-mm-dd hh:mm:ss 终止执行【节点名称】
    跳过执行yyyy-mm-dd hh:mm:ss 跳过执行【数据同步】

    分支条件不满足

    2.2 结果日志

    2.2.1 整体框架

    yyyy-mm-dd hh:mm:ss 任务开始构建

    构建成功失败的日志

    ...

    各个节点的执行日志

    ...

    运行总览:执行成功 x,执行失败 y,终止执行 z,跳过执行 w

    总计耗时:ns

    2.2.2 任务构建日志

    成功日志失败日志

    yyyy-mm-dd hh:mm:ss 任务开始构建

    yyyy-mm-dd hh:mm:ss 任务构建成功

    yyyy-mm-dd hh:mm:ss 任务开始构建

    yyyy-mm-dd hh:mm:ss任务构建失败

    异常节点:【节点名称】

    错误详情

    示例:

    28.png

    2.2.3 节点运行日志

    注:任务运维 内的报错日志,与任务开发里的运行日志格式保持一致,并且支持显示多条。

    节点成功日志错误日志

    SQL脚本

    参数赋值

    条件分支

    消息通知

    yyyy-mm-dd hh:mm:ss 开始执行【节点名称】

    yyyy-mm-dd hh:mm:ss 执行成功【节点名称】

    yyyy-mm-dd hh:mm:ss 执行失败【节点名称】

    错误标题 - 描述

    示例:

    29.png

    调用任务

    yyyy-mm-dd hh:mm:ss 开始执行【调用任务】

    yyyy-mm-dd hh:mm:ss 执行成功【节点名称】查看日志

    2022-04-27 13:20:24 开始执行【节点名称】

    2022-04-27 13:20:24 执行失败【节点名称】查看日志

    循环容器yyyy-mm-dd hh:mm:ss 开始执行【节点名称】

    执行X次循环 (仅展示最近5次循环信息)

    第1次执行:

        yyyy-mm-dd hh:mm:ss 开始执行【节点名称】[1]

        yyyy-mm-dd hh:mm:ss 执行成功【节点名称】[1]

    第2次执行:

        yyyy-mm-dd hh:mm:ss 开始执行【节点名称】[2]

        yyyy-mm-dd hh:mm:ss 执行成功【节点名称】[2]

    ...

    第5次执行:

        yyyy-mm-dd hh:mm:ss 开始执行【节点名称】[5]

        yyyy-mm-dd hh:mm:ss 执行成功【节点名称】[5]

    yyyy-mm-dd hh:mm:ss 执行成功【节点名称】

    - 启动时刻:yyyy-mm-dd hh:mm:ss
    - 结束时刻:yyyy-mm-dd hh:mm:ss
    - 循环次数:n次
    - 耗时:ns

    内部节点报错:

    沿用该节点的报错逻辑即可

    整个容器报错:

    yyyy-mm-dd hh:mm:ss 开始执行【节点名称】

    ...

    展示最近5次循环信息

    ...

    yyyy-mm-dd hh:mm:ss 执行失败【节点名称】

    错误标题 - 描述

    示例:

    30.png

    数据同步

    数据转换

    yyyy-mm-dd hh:mm:ss 开始执行【节点名称】
    yyyy-mm-dd hh:mm:ss 执行成功【节点名称】
    - 启动时刻:yyyy-mm-dd hh:mm:ss 
    - 结束时刻:yyyy-mm-dd hh:mm:ss 
    - 平均流量:nKB/s
    - 平均写入速度:n行/s
    - 读取数据行数:n行
    - 写入数据行数:n行
    - 更新数据行数:n行
    - 写入失败行数:n行

    - 耗时:ns

    数据同步节点示例:

    31.png

    通用错误:

    yyyy-mm-dd hh:mm:ss 执行失败【节点名称】

    [错误对象]:错误标题 - 描述

    示例:

    32.png

    脏数据类:

    yyyy-mm-dd hh:mm:ss  执行失败【节点名称】

    脏数据条数检查不通过,限制是[x]条,但实际上捕获了[y]条.

    错误定位:写入目的表[Table_name]时遇到了脏数据,数据无法正常写入,请检查并作出修改.

    异常情况:具体错误信息

    建议排查的目标字段:

        {字段序号:1,字段名:a1,数据类型:INT}

        {字段序号:2,字段名:a2,数据类型:VARCHAR}

    错误记录:

        {字节数:1,字段序号:1,字段值:value1,数据类型:STRING}

        {字节数:1,字段序号:2,字段值:value2,数据类型:STRING}

    示例:

    f9fcc1ff-c329-4391-bc1a-f18cc9132502.jpg


    2.3 预览报错

    场景日志格式
    通用错误com.fr.dp.exception.FineDPException: 错误标题 - 描述

    堆栈

    示例:

    35.png

    3. 功能变动

    3.1 1.9 版本

    日志新增:写入数据行数、更新数据行数,这两个日志点仅在「比对字段」非主键时显示,「比对字段」为主键时不显示。如下图所示:

    28.png

    3.2 3.4 版本

    日志中,将「中止」改为「终止」。原因是「中止」其实是暂停的意思,可以再启动。「终止」是结束,不再启动。如下图所示:

    1653553244379771.png

    3.3 4.0.1 版本

    3.3.1 错误信息优化

    包括:

    • 格式规范化

    • 错误标题国际化处理

    • 脏数据报错提供精准的定位

    具体介绍如下表所示:

    1)通用错误

    原报错格式
    yyyy-mm-dd hh:mm:ss 组件 - [错误标题] 执行失败

    [错误对象]:Code:[编码], Description:[错误标题]. - 描述

    优化后格式
    yyyy-mm-dd hh:mm:ss 组件 - [错误标题] 执行失败

    [错误对象]:错误标题 - 描述

    示例:

    29.png

    说明1)把Code:[编码], Description 这些价值不大的内容给删除了

    2)[DB config error.] 这种错误标题,进行国际化处理,在不同系统内进行对应语言展示。

    2)脏数据

    原报错格式
    yyyy-mm-dd hh:mm:ss  [节点名称] 执行失败

    com.fr.dp.exception.FineDPException: Code:[Framework-14], Description:[FineDI传输脏数据超过用户预期,该错误通常是由于源端数据存在较多业务脏数据导致,请仔细检查FineDI汇报的脏数据日志信息, 或者您可以适当调大脏数据阈值 .]. - 脏数据条数检查不通过,限制是[0]条,但实际上捕获了[n]条.

    优化后格式yyyy-mm-dd hh:mm:ss  [节点名称] 执行失败

    脏数据条数检查不通过,限制是[x]条,但实际上捕获了[y]条.

    错误定位:写入目的表[Table_name]时遇到了脏数据,数据无法正常写入,请检查并作出修改.

      建议排查的目标字段:[{"字段序号":1,"字段名":"field_name1","数据类型":"VARCHAR(255)"},{"字段序号":2,"字段名":"field_name2","数据类型":"VARCHAR(255)"}]

    异常情况:具体错误信息

    错误记录:

    [{"字节数":36,"字段序号":1,"字段值":"value1","数据类型":"STRING"},

    {"字节数":36,"字段序号":2,"原始值":"value2","数据类型":"STRING"}]

    示例:

    f9fcc1ff-c329-4391-bc1a-f18cc9132502.jpg

    说明

    1)把fanruan.log里的一些日志挪到了界面内。

    2)限制的条数、基于实际情况展示

    3)错误定位里给出可能有问题的来源字段和目标字段。可以支持多个字段

    4)错误记录里对一些内容做了翻译:

    • byteSize:字节数;

    • index:索引号,是字段序号-1

    • rawData:字段值

    • type:数据类型

    3)具体场景的报错优化

    场景分类
    构建失败
    具体场景任务 A 是空任务,无任何一个节点,运行任务 A
    原报错1654152777482331.png
    优化后任务内容为空,无法执行

    3.3.2 预览报错优化

    原报错格式

    com.fr.dp.exception.FineDPException: Code:[编码], Description:[错误标题]. - 描述

    堆栈

    示例:

    1654152813956721.png

    优化后格式

    com.fr.dp.exception.FineDPException: 错误标题 - 描述

    示例:

    com.fr.dp.exception.FineDPException: 缺少数据连接 - DBName[数仓测试dwTest2] is not exist.

    堆栈

    说明1)把 Code:[编码], Description 这些价值不大的内容给删除了

    2)[DB config error.] 这种错误标题,进行国际化处理,在不同系统内进行对应语言展示

    3.3.3 其他日志报错优化

    优化点说明
    增加正在执行的节点名称展示让用户可以看到并行情况下,哪个节点正在执行

    当前日志展示:正在执行...

    修改:正在执行【节点名称1】【节点名称2】...

    日志刷新逻辑优化界面内已经打开的任务被触发运行(被调用、或者定时调度触发),日志无法刷新

    修改为三种情况触发日志刷新:

    • 点击日志内的「查看日志」按钮

    • 重新打开任务

    • 切换任务标签页

    当前的运行耗时会给用户带来困扰

    优化后:先显示节点耗时,再显示总计耗时


    调整后示例:

    1654152895607706.png



    附件列表


    主题: 管理系统
    Previous
    Next
    • Helpful
    • Not helpful
    • Only read

    滑鼠選中內容,快速回饋問題

    滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。

    不再提示

    10s後關閉

    Get
    Help
    Online Support
    Professional technical support is provided to quickly help you solve problems.
    Online support is available from 9:00-12:00 and 13:30-17:30 on weekdays.
    Page Feedback
    You can provide suggestions and feedback for the current web page.
    Pre-Sales Consultation
    Business Consultation
    Business: international@fanruan.com
    Support: support@fanruan.com
    Page Feedback
    *Problem Type
    Cannot be empty
    Problem Description
    0/1000
    Cannot be empty

    Submitted successfully

    Network busy