日志新增:写入数据行数、更新数据行数
显示的具体日志中,将「中止」改为「终止」
定时任务运行后,将会产生运行日志,便于用户查看任务运行情况,如下图所示:
本文介绍在「日志」这个 Tab 页下,具体显示内容。
一个定时任务中有多个流程,在执行后如果有一个流程执行失败,其他流程执行成功的话,整个定时任务的状态是失败的,但是其中的部分流程是执行成功的。
所有节点都具备 5 种运行状态:正在执行、执行成功、执行失败、终止执行、跳过执行。
yyyy-mm-dd hh:mm:ss 开始执行【节点名称】
正在执行【节点名称】...
抽数类节点:
- 启动时刻:yyyy-mm-dd hh:mm:ss
- 实时读取速度: nB/s, n行/s
- 实时写入速度: nB/s, n行/s
- 累计写入行数: n行
- 累计更新行数: n行
- 写入失败行数: n行
yyyy-mm-dd hh:mm:ss 执行成功【节点名称】
yyyy-mm-dd hh:mm:ss 执行失败【节点名称】
分支条件不满足
yyyy-mm-dd hh:mm:ss 任务开始构建
构建成功失败的日志
...
各个节点的执行日志
运行总览:执行成功 x,执行失败 y,终止执行 z,跳过执行 w
总计耗时:ns
yyyy-mm-dd hh:mm:ss 任务构建成功
yyyy-mm-dd hh:mm:ss任务构建失败
异常节点:【节点名称】
错误详情
示例:
注:任务运维 内的报错日志,与任务开发里的运行日志格式保持一致,并且支持显示多条。
SQL脚本
参数赋值
条件分支
消息通知
错误标题 - 描述
调用任务
yyyy-mm-dd hh:mm:ss 执行成功【节点名称】查看日志
2022-04-27 13:20:24 执行失败【节点名称】查看日志
执行X次循环 (仅展示最近5次循环信息)
第1次执行:
yyyy-mm-dd hh:mm:ss 开始执行【节点名称】[1]
yyyy-mm-dd hh:mm:ss 执行成功【节点名称】[1]
第2次执行:
yyyy-mm-dd hh:mm:ss 开始执行【节点名称】[2]
yyyy-mm-dd hh:mm:ss 执行成功【节点名称】[2]
第5次执行:
yyyy-mm-dd hh:mm:ss 开始执行【节点名称】[5]
yyyy-mm-dd hh:mm:ss 执行成功【节点名称】[5]
- 启动时刻:yyyy-mm-dd hh:mm:ss- 结束时刻:yyyy-mm-dd hh:mm:ss- 循环次数:n次- 耗时:ns
沿用该节点的报错逻辑即可
整个容器报错:
展示最近5次循环信息
数据同步
数据转换
- 耗时:ns
数据同步节点示例:
[错误对象]:错误标题 - 描述
脏数据类:
脏数据条数检查不通过,限制是[x]条,但实际上捕获了[y]条.
错误定位:写入目的表[Table_name]时遇到了脏数据,数据无法正常写入,请检查并作出修改.
异常情况:具体错误信息
建议排查的目标字段:
{字段序号:1,字段名:a1,数据类型:INT}
{字段序号:2,字段名:a2,数据类型:VARCHAR}
错误记录:
{字节数:1,字段序号:1,字段值:value1,数据类型:STRING}
{字节数:1,字段序号:2,字段值:value2,数据类型:STRING}
堆栈
日志新增:写入数据行数、更新数据行数,这两个日志点仅在「比对字段」非主键时显示,「比对字段」为主键时不显示。如下图所示:
日志中,将「中止」改为「终止」。原因是「中止」其实是暂停的意思,可以再启动。「终止」是结束,不再启动。如下图所示:
包括:
格式规范化
错误标题国际化处理
脏数据报错提供精准的定位
具体介绍如下表所示:
1)通用错误
[错误对象]:Code:[编码], Description:[错误标题]. - 描述
2)[DB config error.] 这种错误标题,进行国际化处理,在不同系统内进行对应语言展示。
2)脏数据
com.fr.dp.exception.FineDPException: Code:[Framework-14], Description:[FineDI传输脏数据超过用户预期,该错误通常是由于源端数据存在较多业务脏数据导致,请仔细检查FineDI汇报的脏数据日志信息, 或者您可以适当调大脏数据阈值 .]. - 脏数据条数检查不通过,限制是[0]条,但实际上捕获了[n]条.
建议排查的目标字段:[{"字段序号":1,"字段名":"field_name1","数据类型":"VARCHAR(255)"},{"字段序号":2,"字段名":"field_name2","数据类型":"VARCHAR(255)"}]
[{"字节数":36,"字段序号":1,"字段值":"value1","数据类型":"STRING"},
{"字节数":36,"字段序号":2,"原始值":"value2","数据类型":"STRING"}]
1)把fanruan.log里的一些日志挪到了界面内。
2)限制的条数、基于实际情况展示
3)错误定位里给出可能有问题的来源字段和目标字段。可以支持多个字段
4)错误记录里对一些内容做了翻译:
byteSize:字节数;
index:索引号,是字段序号-1
rawData:字段值
type:数据类型
3)具体场景的报错优化
com.fr.dp.exception.FineDPException: Code:[编码], Description:[错误标题]. - 描述
com.fr.dp.exception.FineDPException: 错误标题 - 描述
com.fr.dp.exception.FineDPException: 缺少数据连接 - DBName[数仓测试dwTest2] is not exist.
2)[DB config error.] 这种错误标题,进行国际化处理,在不同系统内进行对应语言展示
当前日志展示:正在执行...
修改:正在执行【节点名称1】【节点名称2】...
修改为三种情况触发日志刷新:
点击日志内的「查看日志」按钮
重新打开任务
切换任务标签页
优化后:先显示节点耗时,再显示总计耗时
调整后示例:
滑鼠選中內容,快速回饋問題
滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。
不再提示
10s後關閉
Submitted successfully
Network busy