运行日志介绍

  • Last update:  2022-06-28
  • 1. 概述

    1.1 版本

    FineBI 版本功能变更
    6.0-

    1.2 功能简介

    ETL 任务运行后,将会产生运行日志。如下图所示:

    本文介绍在「日志」这个 Tab 页下,具体显示内容。

    2. 示例

    2.1 节点运行状态

    所有节点都具备 5 种运行状态:正在执行、执行成功、执行失败、终止执行、跳过执行。

    状态日志格式
    正在执行非抽数类节点:

    yyyy-mm-dd hh:mm:ss 开始执行【节点名称】

    正在执行【节点名称】...

    抽数类节点:

    yyyy-mm-dd hh:mm:ss 开始执行【节点名称】

    - 启动时刻:yyyy-mm-dd hh:mm:ss

    - 实时读取速度: nB/s, n行/s

    - 实时写入速度: nB/s, n行/s

    - 累计写入行数: n行

    - 累计更新行数: n行

    - 写入失败行数: n行

    正在执行【节点名称】...

    执行成功yyyy-mm-dd hh:mm:ss 开始执行【节点名称】

    yyyy-mm-dd hh:mm:ss 执行成功【节点名称】

    执行失败yyyy-mm-dd hh:mm:ss 开始执行【节点名称】

    yyyy-mm-dd hh:mm:ss 执行失败【节点名称】

    终止执行yyyy-mm-dd hh:mm:ss 终止执行【节点名称】
    跳过执行yyyy-mm-dd hh:mm:ss 跳过执行【数据同步】

    分支条件不满足

    2.2 结果日志

    2.2.1 整体框架

    yyyy-mm-dd hh:mm:ss 任务开始构建

    构建成功失败的日志

    ...

    各个节点的执行日志

    ...

    运行总览:执行成功 x,执行失败 y,终止执行 z,跳过执行 w

    总计耗时:ns

    2.2.2 任务构建日志

    成功日志失败日志

    yyyy-mm-dd hh:mm:ss 任务开始构建

    yyyy-mm-dd hh:mm:ss 任务构建成功

    yyyy-mm-dd hh:mm:ss 任务开始构建

    yyyy-mm-dd hh:mm:ss任务构建失败

    异常节点:【节点名称】

    错误详情

    示例:

    2.2.3 节点运行日志

    注:任务运维 内的报错日志,与任务开发里的运行日志格式保持一致,并且支持显示多条。

    节点成功日志错误日志

    SQL脚本

    参数赋值

    条件分支

    消息通知

    yyyy-mm-dd hh:mm:ss 开始执行【节点名称】

    yyyy-mm-dd hh:mm:ss 执行成功【节点名称】

    yyyy-mm-dd hh:mm:ss 执行失败【节点名称】

    错误标题 - 描述

    示例:

    调用任务

    yyyy-mm-dd hh:mm:ss 开始执行【调用任务】

    yyyy-mm-dd hh:mm:ss 执行成功【节点名称】查看日志

    2022-04-27 13:20:24 开始执行【节点名称】

    2022-04-27 13:20:24 执行失败【节点名称】查看日志

    循环容器yyyy-mm-dd hh:mm:ss 开始执行【节点名称】

    执行X次循环 (仅展示最近5次循环信息)

    第1次执行:

        yyyy-mm-dd hh:mm:ss 开始执行【节点名称】[1]

        yyyy-mm-dd hh:mm:ss 执行成功【节点名称】[1]

    第2次执行:

        yyyy-mm-dd hh:mm:ss 开始执行【节点名称】[2]

        yyyy-mm-dd hh:mm:ss 执行成功【节点名称】[2]

    ...

    第5次执行:

        yyyy-mm-dd hh:mm:ss 开始执行【节点名称】[5]

        yyyy-mm-dd hh:mm:ss 执行成功【节点名称】[5]

    yyyy-mm-dd hh:mm:ss 执行成功【节点名称】

    - 启动时刻:yyyy-mm-dd hh:mm:ss
    - 结束时刻:yyyy-mm-dd hh:mm:ss
    - 循环次数:n次
    - 耗时:ns

    内部节点报错:

    沿用该节点的报错逻辑即可

    整个容器报错:

    yyyy-mm-dd hh:mm:ss 开始执行【节点名称】

    ...

    展示最近5次循环信息

    ...

    yyyy-mm-dd hh:mm:ss 执行失败【节点名称】

    错误标题 - 描述

    示例:

    数据同步

    数据转换

    yyyy-mm-dd hh:mm:ss 开始执行【节点名称】
    yyyy-mm-dd hh:mm:ss 执行成功【节点名称】
    - 启动时刻:yyyy-mm-dd hh:mm:ss 
    - 结束时刻:yyyy-mm-dd hh:mm:ss 
    - 平均流量:nKB/s
    - 平均写入速度:n行/s
    - 读取数据行数:n行
    - 写入数据行数:n行
    - 更新数据行数:n行
    - 写入失败行数:n行

    - 耗时:ns

    数据同步节点示例:

    通用错误:

    yyyy-mm-dd hh:mm:ss 执行失败【节点名称】

    [错误对象]:错误标题 - 描述

    示例:

    脏数据类:

    yyyy-mm-dd hh:mm:ss  执行失败【节点名称】

    脏数据条数检查不通过,限制是[x]条,但实际上捕获了[y]条.

    错误定位:写入目的表[Table_name]时遇到了脏数据,数据无法正常写入,请检查并作出修改.

    异常情况:具体错误信息

    建议排查的目标字段:

        {字段序号:1,字段名:a1,数据类型:INT}

        {字段序号:2,字段名:a2,数据类型:VARCHAR}

    错误记录:

        {字节数:1,字段序号:1,字段值:value1,数据类型:STRING}

        {字节数:1,字段序号:2,字段值:value2,数据类型:STRING}

    示例:


    2.3 预览报错

    场景日志格式
    通用错误com.fr.dp.exception.FineDPException: 错误标题 - 描述

    堆栈

    示例:



    Attachment List


    Theme: 数据开发
    前の記事
    次の記事
    • いいね
    • 良くない
    • 閲覧しただけ

    フィードバック

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭

    反馈已提交

    网络繁忙