历史版本7 :云端运维日志包表结构说明 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 版本编辑

          FineBI 版本                     JAR 包版本          
5.12019-07-15

2. 描述编辑

treasures 数据包的具体 CSV 表结构,下面将详细说明。

3. 数据包获取编辑

以管理员身份进入数据决策系统,点击管理系统>智能运维>云端运维,点击下载日志即可下载云端运维数据包。如下图所示:

4.png

4. 数据包整体结构编辑

4.1 月数据包

解压后有多个日数据包+一个月数据包信息文件( json 格式)。如下图所示:

1594792943459392.png

4.2 日数据包

日数据包解压后有 12 张 CSV 表。如下图所示:

1594795031830705.png

4.3 日志导出

服务器日志会以压缩包的形式保存入 treasures.zip 数据包。数据包中有两种文件,分别是:

1)所选月份的日志文件(treasxxxxxx.zip)

2)月数据包信息文件(package.json)

Snag_14c37b7d.png

其中,package.json 文件中信息为应用名称、应用 ID 、该月数据包所属月份以及该月数据包所含日数据包的个数。

  • 多月 treasure 压缩包中的 json 文件内容:

1591345006439647.png

  • 单月 treasure 压缩包中的 json 文件内容:

1591345288390665.png

5. 数据包构成编辑

5.1 BIExecute

模板访问情况。

字段含义备注
id主键
tname物理模板名字

文件夹名称/……/模板名称

FineReport报表有后缀.cpt

displayName
记录被分享的据集名称没有挂出的 BI 模板显示 BI 模板名
time
日志开始时间时间戳格式
memory
报表占用内存,单位 BFineReport 字段,BI 不适用
type
模板访问方式,具体列举在右侧的备注中

10=导出 excel

14=导出 PDF

101=预览 BI 模板

102=编辑 BI 模板

103=分享查看 BI 模板

104=创建 BI 公共链接

username
执行模板的用户
userrole
执行模板的用户角色
consume

BI 模板访问耗时,从打开模板到所有组件加载完成的时间,单位为毫秒

注:该BI模板访问耗时为2019.04之后的版本增加。
sqlTime
sql 执行的总时间FineReport字段,BI 不适用
reportID模板编号
userId用户 Id
complete是否计算完成FineReport字段,BI 不适用
source访问方式(integration 是通过 url 访问,single 是平台访问的 )FineReport字段,BI 不适用

5.2 consumepoint

模板的性能情况,每日记录一次。

字段含义备注
id埋点 id 编号
source埋点来源Original 类里面 1 表示当前系统的,0 表示插件的埋点,-1表示没有定义来源
time开始时间开始时间(时间戳格式)
username操作者进行了转码处理
finish结束时间FineReport 字段,BI 不适用
consume耗时,单位 ms
memory
内存大小,单位 byteFineReport 字段,BI 不适用
title
资源 id可以是模板id,分析表id,表id等
text
资源内容FineReport 字段,BI 不适用
type
操作类型FineReport 字段,BI 不适用
comment资源备注FineReport 字段,BI 不适用
body埋点具体信息

5.3 errorRecord

记录系统中发生过的报错日志。

字段含义
tname出错的物理模板名字(reportlet下的完整路径)
time出错记录时间
displayName挂载到平台的目录名称(全路径),如果直接访问链接则为空
platformDisplay

是否在平台中显示(1为是,0为否)

记录规则为:有记录到此表的错误日志,此字段记为1,反之此字段记为0

username用户 ID(生成规则需和 excute 表中用户 ID 的生成规则保持一致)
errorcode错误码
trace错误路径

5.4 execute

模板使用情况,记录模板的执行明细。

字段备注
id主键
tname物理模板名字(reportlet 下的完整路径)
displayName挂载到平台的目录名称(全路径),如果直接访问链接则为空
time记录的时间,到秒即可
memory报表占用内存,单位 B
type报表访问方式
consume后台耗时
sqlTimeSQL 执行耗时间
userId用户 ID
complete是否计算完成
source链接访问/平台访问
reportId模板 ID
brower
浏览器
sessionID会话 ID,用于与性能埋点表中的前端渲染耗时相关埋点进行关联

5.5 executesql

记录 SQL 的执行记录明细。

字段备注
executeid执行表 ID
dsname数据集的名称
sqltimeSQL 执行时间,单位毫秒
rows数据集规模,行
columns数据集规模,列
time执行时间,时间戳格式
connection数据连接名
connectionID数据连接标识 ID,用于与功能埋点表中的数据源连接相关埋点进行关联

5.6 focusPoint

记录功能点的使用情况,以及各种埋点信息。

字段说明备注
id功能点 id例如:FR-F4001
source埋点来源功能点的类型,embed 表示当前系统的,plugin 表示插件的埋点,undefined表示没有定义来源
time时间使用该功能的时间点
username用户名用户名ID
title标题主要内容
text
内容功能点的主要信息
body埋点具体信息

埋点具体信息,一个 json 数据结构,根据不同的埋点里面存放不同的信息(次要信息,可能为空)

5.7 gcRecord

记录系统的 GC 信息。

字段数据类型 & 单位备注
gcStartTimelong timestampGC 开始时间
gcTypeStringGC 类型
gcCauseStringGC 的原因
pidString进程pid
nodeString用户命名的节点名,单机下记为空
durationlong msGC 持续时间
youngBeforeUsedlong KB年轻代 GC 前使用内存
youngBeforeCommittedlong KB年轻代 GC 前申请内存
youngAfterUsedlong KB年轻代 GC 后使用内存
youngAfterCommittedlong KB年轻代 GC 后申请内存
oldBeforeUsedlong KB老年代 GC 前使用内存
oldBeforeCommittedlong KB老年代 GC 前申请内存
oldAfterUsedlong KB老年代 GC 后使用内存
oldAfterCommittedlong KB老年代 GC 后申请内存
metaspaceBeforeUsedlong KBmetaspace GC 前使用内存
metaspaceBeforeCommittedlong KBmetaspace GC 前申请内存
metaspaceAfterUsedlong KBmetaspace GC 后使用内存
metaspaceAfterCommittedlong KBmetaspace GC 后申请内存
heapBeforeUsedlong KBGC 前堆使用内存
heapBeforeCommittedlong KBGC 前堆申请内存
heapAfterUsedlong KBGC 后堆使用内存
heapAfterCommittedlong KBGC 后堆申请内存
balancePromoterScoreint 分「分值的分」中止计算分值
releasePromoterScore同上释放会话分值
loadScore同上整体负载分值

5.8 honeypot

字段含义备注
类型 (id)
区分类别的父类ID
参数 (param)
记录备注信息,主要记录步骤的名称、状态、等内容
时间 (time)时间
用户名 (username)用户名经转码处理
用户类型 (userType)


对象 (target)该步骤的操作对象,资源id;记录模板id,分析表id,表id等
表转义名 (transferName)操作对象的转义名
公司 ID (companyName)
license中的公司ID
项目名字 (projectName)license中的项目名称
版本 (version)license中的版本号

5.9 logpoint

字段含义备注
埋点类型编号区分类别的父类ID
出现报错时间

错误代码具体的错误代码参考 错误代码

5.10 package

应用的基本信息,每个数据包里都包含这个,用于鉴别数据包的来源。

字段含义
appname应用名称
appid应用 id
time数据包时间,比如 2018-11-01(自动导出情况下:每日凌晨四点导出前一天的包,记为导出日期的前一日)
version
云端运维版本

5.11 processLog

记录云端运维任务运行相关的日志。

字段含义
time时间
node节点
process流程

5.12 realTime

应用的实时情况,每分钟记录一条。

字段备注
node节点名
time记录时间,每分钟一条
memory当前 jvm 内存情况
cpuCPU 利用率
sessionnum存活会话数
onlinenum系统在线人数
pid进程 pid
templateRequest正在计算的模板请求数
httpRequest总的正在处理的 http 请求数
sessionRequest正在处理的带 SessionID 的请求数
fineIOfineIO占用堆外内存大小,单位 KB
NIONIO占用堆外内存大小,单位 KB
bufferMemUse堆外使用总内存,directMem「nio」和mappedMem,单位 KB
physicalMemUse物理内存已使用空间,单位 KB
physicalMemFree物理内存空闲空间,单位 KB

6. 其他说明编辑

若导出数据包时该日数据包已存在,则先将该日数据包删除后再导出,即进行覆盖操作。

(例如 2019-03-02 日凌晨四点会导出 2019-03-01 日数据包。而在 2019-03-01 日用户进行过手动下载,已生成当日数据包,2019-03-02 日凌晨四点导出的数据包则会将之前生成的数据包覆盖)。