1. 概述
1.1 版本
| 报表服务器版本 | 功能变更 |
|---|---|
| 11.0 | - |
| 11.0.3 | 支持通过接口删除本地 treasures 数据包 |
1.2 功能简介
treasures 数据包的具体 CSV 表结构，下面将详细说明。
2. 数据包获取
管理员登录数据决策系统，点击「管理系统>智能运维>云端运维」，点击「下载日志」即可下载云端运维数据包。如下图所示：
3. 数据包整体结构
3.1 月数据包
1）下载后的文件解压后，有多个月数据包+数据包信息文件( json 格式)。如下图所示：
package.json 文件中信息为应用名称、应用 ID 、所有数据包所属月份以及该数据包所含月数据包的个数。
2）单个月数据包解压后，有多个日数据包+该月数据包信息文件( json 格式)。如下图所示：
package.json 文件中信息为应用名称、应用 ID 、该月数据包所属月份以及该月数据包所含日数据包的个数。
3.2 日数据包
日数据包解压后有多张 CSV 表。如下图所示：
4. 数据表-通用&FR
4.1 package
应用的基本信息，每个数据包里都包含这个，用于鉴别数据包的来源。
| 字段 | 含义 |
|---|---|
| appname | 应用名称 |
| appid | 应用ID |
| time | 数据包时间，例如20230905（自动导出情况下：每日凌晨四点导出前一天的包，记为导出日期的前一日） |
| version | 云端运维版本 |
| DAU | 当日登录该工程的用户数 |
| gcRecord | 当日该工程GC次数 |
| BIUpdateTask | 当日该工程BI更新任务数 |
| BIExecute | 当日用户访问该工程FineBI仪表板次数 |
| recordOperate | 当日用户对该工程进行管理操作次数 |
| execute | 当日用户访问该工程FineReport模板次数 |
| focusPoint | 当日该工程功能点使用次数 |
| honeypot | 埋点记录次数 |
| realTime | 当日该应用实时情况记录次数 |
| engineQueryPerformance | 引擎埋点记录次数 |
| biDailyOperation | 当日用户对该工程FineBI仪表板、组件、数据集编辑查看次数 |
| BIUpdateTaskDetail | 当日该工程BI更新任务明细记录数 |
| fdlExecutorTask | FDL任务/节点/算子运行情况记录次数 |
| logpoint | 埋点报错信息记录次数 |
| biUserLifecycle | FineBI用户流失记录条数 |
| consumePoint | 当日该工程模板性能记录次数 |
| recordWrite | 当日该工程FineReport报表填报次数 |
| templateError | 当日该工程报错日志记录条数 |
| processLog | 当日该工程云端运维任务运行次数 |
| executeSql | SQL 执行记录明细条数 |
4.2 execute
模板使用情况，记录模板的执行明细。
| 字段 | 备注 |
|---|---|
| id | 主键 |
| tname | 物理模板名字（reportlet 下的完整路径） |
| displayName | 挂载到平台的目录名称（全路径），如果直接访问链接则为空 |
| time | 记录的时间，到秒即可 |
| memory | 报表占用内存，单位 B |
| type | 报表访问方式 |
| consume | 后台耗时 |
| sqlTime | SQL 执行耗时间 |
| reportId | 模板 ID |
| userId | 用户 ID |
| ip | 用户所在ip（加密导出） |
| complete | 是否计算完成 |
| source | 链接访问/平台访问 |
| brower | 浏览器 |
| sessionID | 会话ID，用于与性能埋点表中的前端渲染耗时相关埋点进行关联 |
| node | 加载模板的节点名 |
| error | 模板执行过程中第一个报错信息 |
| webInfo | 模板执行信息 webResolution：当前模板执行在前端访问时的分辨率，记录格式为x*y fullScreen：当前模板执行在前端访问时是否是全屏模式，记录格式为1/0 |
| fineMarkId | 一个用户的标识id（用于判断非登录场景下的用户数） |
| estimate | 估算内存(非格子计算)，单位KB |
| frFullVersion | FineReport工程模块版本 |
| biFullVersion | FineBI工程模块版本 |
| cloudVersion | 云端运维插件版本 |
4.3 executesql
记录 SQL 的执行记录明细。
| 字段 | 备注 |
|---|---|
| time | 执行时间，时间戳格式 |
| executeid | 执行表 ID |
| dsname | 数据集的名称 |
| sqltime | SQL 执行时间，单位毫秒 |
| rows | 数据集规模，行 |
| columns | 数据集规模，列 |
| connection | 数据连接名 |
| connectionID | 数据连接标识 ID，用于与功能埋点表中的数据源连接相关埋点进行关联 |
4.4 realTime
应用的实时情况，每分钟记录一条。
| 字段 | 备注 |
|---|---|
| time | 记录时间，每分钟一条 |
| node | 节点名 |
| cpu | CPU 利用率 |
| memory | 当前 jvm 内存情况 |
| sessionnum | 存活会话数 |
| onlinenum | 系统在线人数 |
| pid | 进程 pid |
| templateRequest | 正在计算的模板请求数 |
| httpRequest | 总的正在处理的 http 请求数 |
| sessionRequest | 正在处理的带 SessionID 的请求数 |
| fineIO | fineIO占用堆外内存大小，单位 KB |
| NIO | NIO占用堆外内存大小，单位 KB |
| bufferMemUse | 堆外使用总内存，directMem「nio」和mappedMem，单位 KB |
| physicalMemUse | 物理内存已使用空间，单位 KB |
| physicalMemFree | 物理内存空闲空间，单位 KB |
4.5 consumepoint
模板的性能情况，每日记录一次。
| 字段 | 含义 | 备注 |
|---|---|---|
| id | 埋点 id 编号 | |
| source | 埋点来源 | Original 类 1 表示当前系统的 0 表示插件的埋点 -1 表示没有定义来源 |
| time | 开始时间 | 开始时间（时间戳格式） |
| username | 用户名ID | 进行了转码处理 |
| ip | 用户ip | 进行了转码处理 |
| finish | 结束时间 | FineReport 字段，FineBI不适用 |
| consume | 耗时，单位 ms | - |
| memory | 内存大小，单位 byte | FineReport 字段，FineBI不适用 |
| title | 资源 id | 可以是模板id，分析表id，表id等 |
| text | 资源内容 | FineReport 字段，FineBI不适用 |
| type | 操作类型 | FineReport 字段，FineBI不适用 |
| comment | 资源备注 | FineReport 字段，FineBI不适用 |
| body | 埋点具体信息 | - |
| frFullVersion | FineReport工程模块版本 | - |
| biFullVersion | FineBI工程模块版本 | - |
| cloudVersion | 云端运维插件版本 | - |
4.6 focusPoint
记录功能点的使用情况，以及各种埋点信息。
| 字段 | 说明 | 备注 |
|---|---|---|
| id | 功能点 id | 例如：FR-F4001 |
| source | 埋点来源 | 功能点的类型 embed 表示当前系统的 plugin 表示插件的埋点 undefined表示没有定义来源 |
| time | 时间 | 使用该功能的时间点 |
| username | 用户名 | 用户名ID，进行了转码处理 |
| ip | 用户IP | 用户IP，进行了转码处理 |
| title | 标题 | 主要内容 |
| text | 内容 | 功能点的主要信息 |
| body | 埋点具体信息 | 埋点具体信息，一个 json 数据结构，根据不同的埋点里面存放不同的信息（次要信息，可能为空） |
| frFullVersion | FineReport工程模块版本 | - |
| biFullVersion | FineBI工程模块版本 | - |
| cloudVersion | 云端运维插件版本 | - |
4.7 templateError
错误日志记录表：记录系统中发生过的报错日志。
| 字段 | 含义 |
|---|---|
| tname | 出错的物理模板名字（reportlet下的完整路径） |
| time | 出错记录时间 |
| displayName | 挂载到平台的目录名称（全路径） 如果为空时，判断 platformDisplay是否为0，为零时平台前端显示处理为国际化的“非挂载访问” |
| result | 是否成功预览 1：预览成功 0：预览失败 |
| code | 错误代码 |
| platformDisplay | 是否挂载访问 1：表示挂载访问 0：表示url访问 |
| username | 执行报表的用户 notLogged：表示未登录访问 fromSchedule：表示来自定时调度 |
4.8 gcRecord
记录系统的 GC 信息。
| 字段 | 数据类型 & 单位 | 备注 |
|---|---|---|
| time | long timestamp | 记录时间 |
| gcStartTime | long timestamp | GC 开始时间 |
| gcType | String | GC 类型 |
| gcCause | String | GC 的原因 |
| pid | String | 进程pid |
| node | String | 用户命名的节点名，单机下记为空 |
| duration | long ms | GC 持续时间 |
| youngBeforeUsed | long KB | 年轻代 GC 前使用内存 |
| youngBeforeCommitted | long KB | 年轻代 GC 前申请内存 |
| youngAfterUsed | long KB | 年轻代 GC 后使用内存 |
| youngAfterCommitted | long KB | 年轻代 GC 后申请内存 |
| oldBeforeUsed | long KB | 老年代 GC 前使用内存 |
| oldBeforeCommitted | long KB | 老年代 GC 前申请内存 |
| oldAfterUsed | long KB | 老年代 GC 后使用内存 |
| oldAfterCommitted | long KB | 老年代 GC 后申请内存 |
| metaspaceBeforeUsed | long KB | metaspace GC 前使用内存 |
| metaspaceBeforeCommitted | long KB | metaspace GC 前申请内存 |
| metaspaceAfterUsed | long KB | metaspace GC 后使用内存 |
| metaspaceAfterCommitted | long KB | metaspace GC 后申请内存 |
| heapBeforeUsed | long KB | GC 前堆使用内存 |
| heapBeforeCommitted | long KB | GC 前堆申请内存 |
| heapAfterUsed | long KB | GC 后堆使用内存 |
| heapAfterCommitted | long KB | GC 后堆申请内存 |
| balancePromoterScore | int 分「分值的分」 | 中止计算分值 |
| releasePromoterScore | 同上 | 释放会话分值 |
| loadScore | 同上 | 整体负载分值 |
4.9 processLog
记录云端运维任务运行相关的日志。
| 字段 | 含义 |
|---|---|
| time | 时间 |
| node | 节点 |
| process | 流程 |
4.10 recordOperate
管理日志表，即用户对模块进行操作的时候，将会在该表中添加一条记录，并在相应字段中填写其对应的信息记录。
字段 | 备注 |
|---|---|
| type | 模块（存国际化的 key） |
| item | 设置项 |
| operation | 操作 |
| username | 用户名 |
| ip | 用户 IP 地址 |
| time | 用户操作时间 |
4.11 recordWrite
填报表：记录填报日志信息，即如果报表进行填报的时候，将会在该表中添加一条记录，并在相应字段中填写其对应的信息记录。
字段 | 备注 |
|---|---|
| username | 填报报表的用户 |
| tname | 仪表板存放路径 |
| time | 填报时间 |
| result | 是否填报成功 |
| ip | 填报报表的IP地址 |
| displayName | 仪表板的实际名称，非「目录管理」中仪表板的名称 如果直接访问链接则为空 |
| browser | 客户端访问报表所用的浏览器版本 |
| consume | 执行耗时，包括 SQL 执行时间，报表计算时间 |
| body | 用json数据结构记录以下信息(times, max,min,avg) times：该类请求出现次数，单位：次 max：该类请求最大响应时长，单位：ms min：该类请求最小响应时长，单位：ms avg：该类请求平均响应时长，单位：ms |
| frFullVersion | FineReport工程模块版本 |
| biFullVersion | FineBI工程模块版本 |
| cloudVersion | 云端运维插件版本 |
5. 数据表-FDL
5.1 fdlExecutorTask
记录FDL任务/节点/算子运行情况
| 字段 | 含义 |
|---|---|
| id | 主键 |
| targetId | 任务/节点/算子ID |
| category | 一级分类（区分任务 OR 节点 OR 算子） 0：任务 1：节点 2：算子 |
| type | 二级分类 1）任务 SCHED：定时任务 2）节点 3）算子 |
| beginTime | 执行开始时间 （时间戳格式） |
| endTime | 执行结束时间 （时间戳格式） |
| status | 执行状态 任务和算子只有SUCCESS和FAILED状态 节点状态有SUCCESS、FAILED、EXECUTOR_LINE_NOT_MATCH |
| lasting | 执行耗时 |
| extraInfo | 执行补充信息（JSON） execUser：执行用户（仅任务包含，定时调度触发或作为子任务被调用时值固定为SYSTEM、手动运行时值为对应用户） |
| time | 数据入库时间，logdb自动生成（Swift表清理需要） |
6. 删除工程下数据包
若曾自动/手动上传云端运维数据到帆软市场，那么在工程%FR_HOME%\webapps\webroot\WEB-INF\treasures目录下会对应生成上传的云端运维数据包。
用户可通过接口快速删除工程目录下的云端运维数据包。
管理员登录数据决策系统后，在浏览器新页面访问http://IP:port/webroot/decision/v10/cloud/analytics/delete/treasure?month=X，显示success即为删除成功。
每10分钟内可请求一次，X为删除的最近月份数量。
例如：
系统下存在2022年2-7月的数据，7月份访问http://IP:port/webroot/decision/v10/cloud/analytics/delete/treasure?month=3
系统将自动删除执行日期起，最近三个月的云端运维数据包，仅保留2022年2-4月的数据
7. 注意事项
若导出数据包时该日数据包已存在，则先将该日数据包删除后再导出，即进行覆盖操作。
（例如 2019-03-02 日凌晨四点会导出 2019-03-01 日数据包。而在 2019-03-01 日用户进行过手动下载，已生成当日数据包，2019-03-02 日凌晨四点导出的数据包则会将之前生成的数据包覆盖）。
