历史版本4 :云端运维日志包表结构说明 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

FineDataLink版本功能变更
4.0.5-

1.2 功能简介

云端运维报告 这篇文档中提到了 treasures 数据包,有关这个数据包的具体 CSV 表结构,下面将详细说明。

2. 获取数据包编辑

管理员登录 FineDataLink,选择「管理系统>智能运维>云端运维」,点击「下载数据」即可下载云端运维数据包到本地。

若曾自动/手动上传云端运维数据到帆软市场,那么在工程%FDL_HOME%\webapps\webroot\WEB-INF\treasures目录下对应生成上传的云端运维数据包。

注:下载数据前,需要登录帆软通行证,具体步骤可参考 云端运维使用步骤

3. 数据包结构编辑

3.1 月数据包

月数据包解压后有多个日数据包+一个月数据包信息文件( json 格式)。

3.2 日数据包内容

日数据包解压后有 CSV 表。

3.3 日志导出

服务器日志会以压缩包的形式保存入 treasures.zip 数据包。数据包中有两种文件,分别是:

1)所选月份的日志文件(treasxxxxxx.zip)

2)月数据包信息文件(package.json)

其中,package.json 文件中信息为应用名称、应用 ID 、该月数据包所属月份以及该月数据包所含日数据包的个数。

  • 多月 treasure 压缩包中的 json 文件内容:

  • 单月 treasure 压缩包中的 json 文件内容:

1591345288390665.png

4. 数据表及字段编辑

注:如果是集成部署环境,BI和报表的数据表字段可以参考:FR云端运维日志包表结构说明BI云端运维数据包具体CSV表结构说明

4.1 fdlExecutorTask

记录FDL任务/节点/算子运行情况

字段名字段类型默认值精度长度字段说明字段值释义
idVARCHAR
0255

timeDATE
00数据入库时间,logdb自动生成(Swift表清理需要)
targetIdVARCHAR
0255任务/节点/算子ID
categoryINTEGER
010一级分类(区分任务 OR 节点 OR 算子)
字段值字段值释义
0任务
1节点
2算子
typeVARCHAR
0255二级分类
字段值字段值释义
SCHED定时任务
DATA_SYNC数据同步
DATA_FLOW数据转换
SQLSQL脚本
PARAM参数赋值
CONDITION条件分支
VIRTUAL虚拟节点
SUB_WORK调用任务
MESSAGE消息通知
LOOP循环容器
SHELL_NODEShell脚本
PARAM_OUTPUT参数输出
数据源_READER数据源_输入
数据源_WRITER数据源_输出
beginTimeDATE
00执行开始时间 (时间戳格式)
endTimeDATE
00执行结束时间(时间戳格式)
statusVARCHAR
0255执行状态(任务和算子只有SUCCESS和FAILED状态,节点状态有SUCCESS、FAILED、EXECUTOR_LINE_NOT_MATCH)
lastingDOUBLE
1522执行耗时
extraInfoVARCHAR
010240执行补充信息(JSON)
字段值字段值释义
execUser执行用户(仅任务包含,定时调度触发或作为子任务被调用时值固定为SYSTEM、手动运行时值为对应用户)
errDetail错误详情(仅失败任务包含,记录任务运行报错详情,与任务运维中运行结果为“报错”的任务的“报错信息”保持一致即可)
execThroughput执行吞吐量
readRows读取数据行数
writeRows写入数据行数
updateRows更新数据行数
deleteRows删除数据行数
errorRows错误数据行数
appIdVARCHAR
0255

yearMonthVARCHAR
0255

ingestTimeDATE
00

dayTimeDATE
00

5. 注意事项编辑

若导出数据包时该日数据包已存在,则先将该日数据包删除后再导出,即进行覆盖操作。

例如 2019-03-02 日凌晨四点会导出 2019-03-01 日数据包。而在 2019-03-01 日用户进行过手动下载,已生成当日数据包,2019-03-02 日凌晨四点导出的数据包则会将之前生成的数据包覆盖。