1. 概述编辑
1.1 版本
| FineBI 版本 | JAR 包版本 |
|---|---|
| 5.1 | 2019-07-15 |
1.2 功能简介
treasures 数据包的具体 CSV 表结构,下面将详细说明。
2. 数据包获取编辑
以管理员身份进入数据决策系统,点击「管理系统>智能运维>云端运维」,点击「下载日志」即可下载云端运维数据包。如下图所示:

注:下载数据前,需要登录帆软通行证。
3. 数据包整体结构编辑
3.1 月数据包
解压后有多个日数据包+一个月数据包信息文件( json 格式)。如下图所示:

3.2 日数据包
日数据包解压后有 12 张 CSV 表。如下图所示:

3.3 日志导出
服务器日志会以压缩包的形式保存入 treasures.zip 数据包。数据包中有两种文件,分别是:
1)所选月份的日志文件(treasxxxxxx.zip)
2)月数据包信息文件(package.json)

其中,package.json 文件中信息为应用名称、应用 ID 、该月数据包所属月份以及该月数据包所含日数据包的个数。
多月 treasure 压缩包中的 json 文件内容:

单月 treasure 压缩包中的 json 文件内容:

4. 数据包构成编辑
4.1 BIExecute
仪表板访问情况。
| 字段 | 含义 | 备注 |
|---|---|---|
| id | 主键 | - |
| tname | 仪表板名字 | 文件夹名称/……/仪表板名称 FineReport 报表有后缀.cpt |
| displayName | 记录被分享的数据集名称 | 没有挂出的 BI 仪表板显示仪表板名 |
| time | 日志开始时间 | 时间戳格式 |
| memory | 报表占用内存,单位 B | FineReport 字段,BI 不适用 |
| type | 仪表板访问方式,具体列举在右侧的备注中 | 10=导出 excel 14=导出 PDF 101=预览 BI 仪表板 102=编辑 BI 仪表板 103=分享查看 BI 仪表板 104=创建 BI 公共链接 |
| username | 执行仪表板的用户 | - |
| userrole | 执行仪表板的用户角色 | - |
| consume | BI 仪表板访问耗时,从打开仪表板到所有组件加载完成的时间,单位为毫秒 | 注:该 BI 仪表板访问耗时为 2019-04 之后的版本增加。 |
| sqlTime | sql 执行的总时间 | FineReport字段,BI 不适用 |
| reportID | 仪表板编号 | - |
| userId | 用户 Id | - |
| complete | 是否计算完成 | FineReport字段,BI 不适用 |
| source | 访问方式(integration 是通过 url 访问,single 是平台访问的 ) | FineReport字段,BI 不适用 |
4.2 consumepoint
模板的性能情况,每日记录一次。
| 字段 | 含义 | 备注 |
|---|---|---|
| id | 埋点 id 编号 | |
| source | 埋点来源 | Original 类 1 表示当前系统的 0 表示插件的埋点 -1表示没有定义来源 |
| time | 开始时间 | 开始时间(时间戳格式) |
| username | 操作者 | 进行了转码处理 |
| finish | 结束时间 | FineReport 字段,BI 不适用 |
| consume | 耗时,单位 ms | - |
| memory | 内存大小,单位 byte | FineReport 字段,BI 不适用 |
| title | 资源 id | 可以是模板id,分析表id,表id等 |
| text | 资源内容 | FineReport 字段,BI 不适用 |
| type | 操作类型 | FineReport 字段,BI 不适用 |
| comment | 资源备注 | FineReport 字段,BI 不适用 |
| body | 埋点具体信息 | - |
4.3 errorRecord
记录系统中发生过的报错日志。
| 字段 | 含义 |
|---|---|
| tname | 出错的物理模板名字(reportlet下的完整路径) |
| time | 出错记录时间 |
| displayName | 挂载到平台的目录名称(全路径),如果直接访问链接则为空 |
| platformDisplay | 是否在平台中显示(1为是,0为否) 记录规则为:有记录到此表的错误日志,此字段记为1,反之此字段记为0 |
| username | 用户 ID(生成规则需和 excute 表中用户 ID 的生成规则保持一致) |
| errorcode | 错误码 |
| trace | 错误路径 |
4.4 execute
模板使用情况,记录模板的执行明细。
| 字段 | 备注 |
|---|---|
| id | 主键 |
| tname | 物理模板名字(reportlet 下的完整路径) |
| displayName | 挂载到平台的目录名称(全路径),如果直接访问链接则为空 |
| time | 记录的时间,到秒即可 |
| memory | 报表占用内存,单位 B |
| type | 报表访问方式 |
| consume | 后台耗时 |
| sqlTime | SQL 执行耗时间 |
| userId | 用户 ID |
| complete | 是否计算完成 |
| source | 链接访问/平台访问 |
| reportId | 模板 ID |
| brower | 浏览器 |
| sessionID | 会话 ID,用于与性能埋点表中的前端渲染耗时相关埋点进行关联 |
4.5 executesql
记录 SQL 的执行记录明细。
| 字段 | 备注 |
|---|---|
| executeid | 执行表 ID |
| dsname | 数据集的名称 |
| sqltime | SQL 执行时间,单位毫秒 |
| rows | 数据集规模,行 |
| columns | 数据集规模,列 |
| time | 执行时间,时间戳格式 |
| connection | 数据连接名 |
| connectionID | 数据连接标识 ID,用于与功能埋点表中的数据源连接相关埋点进行关联 |
4.6 focusPoint
记录功能点的使用情况,以及各种埋点信息。
| 字段 | 说明 | 备注 |
|---|---|---|
| id | 功能点 id | 例如:FR-F4001 |
| source | 埋点来源 | 功能点的类型 embed 表示当前系统的 plugin 表示插件的埋点 undefined表示没有定义来源 |
| time | 时间 | 使用该功能的时间点 |
| username | 用户名 | 用户名ID |
| title | 标题 | 主要内容 |
| text | 内容 | 功能点的主要信息 |
| body | 埋点具体信息 | 埋点具体信息,一个 json 数据结构,根据不同的埋点里面存放不同的信息(次要信息,可能为空) |
4.7 gcRecord
记录系统的 GC 信息。
| 字段 | 数据类型 & 单位 | 备注 |
|---|---|---|
| gcStartTime | long timestamp | GC 开始时间 |
| gcType | String | GC 类型 |
| gcCause | String | GC 的原因 |
| pid | String | 进程pid |
| node | String | 用户命名的节点名,单机下记为空 |
| duration | long ms | GC 持续时间 |
| youngBeforeUsed | long KB | 年轻代 GC 前使用内存 |
| youngBeforeCommitted | long KB | 年轻代 GC 前申请内存 |
| youngAfterUsed | long KB | 年轻代 GC 后使用内存 |
| youngAfterCommitted | long KB | 年轻代 GC 后申请内存 |
| oldBeforeUsed | long KB | 老年代 GC 前使用内存 |
| oldBeforeCommitted | long KB | 老年代 GC 前申请内存 |
| oldAfterUsed | long KB | 老年代 GC 后使用内存 |
| oldAfterCommitted | long KB | 老年代 GC 后申请内存 |
| metaspaceBeforeUsed | long KB | metaspace GC 前使用内存 |
| metaspaceBeforeCommitted | long KB | metaspace GC 前申请内存 |
| metaspaceAfterUsed | long KB | metaspace GC 后使用内存 |
| metaspaceAfterCommitted | long KB | metaspace GC 后申请内存 |
| heapBeforeUsed | long KB | GC 前堆使用内存 |
| heapBeforeCommitted | long KB | GC 前堆申请内存 |
| heapAfterUsed | long KB | GC 后堆使用内存 |
| heapAfterCommitted | long KB | GC 后堆申请内存 |
| balancePromoterScore | int 分「分值的分」 | 中止计算分值 |
| releasePromoterScore | 同上 | 释放会话分值 |
| loadScore | 同上 | 整体负载分值 |
4.8 honeypot
| 字段 | 含义 | 备注 |
|---|---|---|
| 类型 (id) | 区分类别的父类ID | |
| 参数 (param) | 记录备注信息,主要记录步骤的名称、状态、等内容 | |
| 时间 (time) | 时间 | |
| 用户名 (username) | 用户名 | 经转码处理 |
| 用户类型 (userType) | - | |
| 对象 (target) | 该步骤的操作对象,资源id;记录模板id,分析表id,表id等 | |
| 表转义名 (transferName) | 操作对象的转义名 | |
| 公司 ID (companyName) | license中的公司ID | |
| 项目名字 (projectName) | license中的项目名称 | |
| 版本 (version) | license中的版本号 |
4.9 logpoint
| 字段 | 含义 | 备注 |
|---|---|---|
| 埋点类型编号 | 区分类别的父类ID | |
| 出现报错时间 | - | |
| 错误代码 | 具体的错误代码 | 参考 错误代码 |
4.10 package
应用的基本信息,每个数据包里都包含这个,用于鉴别数据包的来源。
| 字段 | 含义 |
|---|---|
| appname | 应用名称 |
| appid | 应用 id |
| time | 数据包时间,比如 2018-11-01(自动导出情况下:每日凌晨四点导出前一天的包,记为导出日期的前一日) |
| version | 云端运维版本 |
4.11 processLog
记录云端运维任务运行相关的日志。
| 字段 | 含义 |
|---|---|
| time | 时间 |
| node | 节点 |
| process | 流程 |
4.12 realTime
应用的实时情况,每分钟记录一条。
| 字段 | 备注 |
|---|---|
| node | 节点名 |
| time | 记录时间,每分钟一条 |
| memory | 当前 jvm 内存情况 |
| cpu | CPU 利用率 |
| sessionnum | 存活会话数 |
| onlinenum | 系统在线人数 |
| pid | 进程 pid |
| templateRequest | 正在计算的模板请求数 |
| httpRequest | 总的正在处理的 http 请求数 |
| sessionRequest | 正在处理的带 SessionID 的请求数 |
| fineIO | fineIO占用堆外内存大小,单位 KB |
| NIO | NIO占用堆外内存大小,单位 KB |
| bufferMemUse | 堆外使用总内存,directMem「nio」和mappedMem,单位 KB |
| physicalMemUse | 物理内存已使用空间,单位 KB |
| physicalMemFree | 物理内存空闲空间,单位 KB |
5. 其他说明编辑
若导出数据包时该日数据包已存在,则先将该日数据包删除后再导出,即进行覆盖操作。
(例如 2019-03-02 日凌晨四点会导出 2019-03-01 日数据包。而在 2019-03-01 日用户进行过手动下载,已生成当日数据包,2019-03-02 日凌晨四点导出的数据包则会将之前生成的数据包覆盖)。

