历史版本4 :云端运维日志包表结构说明 返回文档
编辑时间:
内容长度:图片数:目录数:
修改原因:
1. 概述编辑
2. 获取数据包编辑
管理员登录 FineDataLink,选择「管理系统>智能运维>云端运维」,点击「下载数据」即可下载云端运维数据包到本地。
若曾自动/手动上传云端运维数据到帆软市场,那么在工程%FDL_HOME%\webapps\webroot\WEB-INF\treasures目录下对应生成上传的云端运维数据包。
注:下载数据前,需要登录帆软通行证,具体步骤可参考 云端运维使用步骤
3. 数据包结构编辑
3.1 月数据包
月数据包解压后有多个日数据包+一个月数据包信息文件( json 格式)。
3.2 日数据包内容
日数据包解压后有 CSV 表。
3.3 日志导出
服务器日志会以压缩包的形式保存入 treasures.zip 数据包。数据包中有两种文件,分别是:
1)所选月份的日志文件(treasxxxxxx.zip)
2)月数据包信息文件(package.json)
其中,package.json 文件中信息为应用名称、应用 ID 、该月数据包所属月份以及该月数据包所含日数据包的个数。
多月 treasure 压缩包中的 json 文件内容:
单月 treasure 压缩包中的 json 文件内容:
4. 数据表及字段编辑
注:如果是集成部署环境,BI和报表的数据表字段可以参考:FR云端运维日志包表结构说明、BI云端运维数据包具体CSV表结构说明
4.1 fdlExecutorTask
记录FDL任务/节点/算子运行情况
字段名 | 字段类型 | 默认值 | 精度 | 长度 | 字段说明 | 字段值释义 | ||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
id | VARCHAR | 0 | 255 | |||||||||||||||||||||||||||||||||
time | DATE | 0 | 0 | 数据入库时间,logdb自动生成(Swift表清理需要) | ||||||||||||||||||||||||||||||||
targetId | VARCHAR | 0 | 255 | 任务/节点/算子ID | ||||||||||||||||||||||||||||||||
category | INTEGER | 0 | 10 | 一级分类(区分任务 OR 节点 OR 算子) |
| |||||||||||||||||||||||||||||||
type | VARCHAR | 0 | 255 | 二级分类 |
| |||||||||||||||||||||||||||||||
beginTime | DATE | 0 | 0 | 执行开始时间 (时间戳格式) | ||||||||||||||||||||||||||||||||
endTime | DATE | 0 | 0 | 执行结束时间(时间戳格式) | ||||||||||||||||||||||||||||||||
status | VARCHAR | 0 | 255 | 执行状态(任务和算子只有SUCCESS和FAILED状态,节点状态有SUCCESS、FAILED、EXECUTOR_LINE_NOT_MATCH) | ||||||||||||||||||||||||||||||||
lasting | DOUBLE | 15 | 22 | 执行耗时 | ||||||||||||||||||||||||||||||||
extraInfo | VARCHAR | 0 | 10240 | 执行补充信息(JSON) |
| |||||||||||||||||||||||||||||||
appId | VARCHAR | 0 | 255 | |||||||||||||||||||||||||||||||||
yearMonth | VARCHAR | 0 | 255 | |||||||||||||||||||||||||||||||||
ingestTime | DATE | 0 | 0 | |||||||||||||||||||||||||||||||||
dayTime | DATE | 0 | 0 |
5. 注意事项编辑
若导出数据包时该日数据包已存在,则先将该日数据包删除后再导出,即进行覆盖操作。
例如 2019-03-02 日凌晨四点会导出 2019-03-01 日数据包。而在 2019-03-01 日用户进行过手动下载,已生成当日数据包,2019-03-02 日凌晨四点导出的数据包则会将之前生成的数据包覆盖。