1、版本编辑
| FineBI版本 | jar包版本 |
|---|---|
| 5.1 | 2019.07.15 |
2、描述编辑
前面我们已经介绍过云端运维,关于云端运维数据包收据具体 CSV 表结构的说明如下所示。
3、数据包获取编辑
4、数据包整体结构编辑
1)月数据包
将获取的云端运维数据包解压后,有多个日数据包+1 个日志文件夹+1 个月数据包信息文件( json 格式)。如下图:

2)日数据包
日数据包解压后有 17 张表,如下图:

5、数据包构成编辑
5.1 模板访问情况(BIExecute表)
| 字段 | 含义 | 备注 |
|---|---|---|
| id | 主键 | |
| tname | 物理模板名字 | 文件夹名称/……/模板名称 FineReport报表有后缀【.cpt】 |
| displayName | 挂载到平台的目录名称(全路径),如果直接访问链接则为空 | 没有挂出的BI模板显示BI模板名 |
| time | 日志开始时间 | 时间戳格式 |
| memory | 报表占用内存,单位B | FineReport字段,BI不适用 |
| type | 模板访问方式,具体列举在右侧的备注中 | 10=导出excel 14=导出PDF 101=预览BI模板 102=编辑BI模板 103=分享查看BI模板 104=创建BI公共链接 |
| username | 执行模板的用户 | |
| userrole | 执行模板的用户角色 | |
| consume | 执行耗时,包括sql执行时间,报表计算时间 | |
| sqlTime | sql执行的总时间 | FineReport字段,BI不适用 |
| reportID | 模板编号 | |
| userId | 用户Id | |
| complete | 是否计算完成 | FineReport字段,BI不适用 |
| resource | 访问方式(integration是通过url访问,single是平台访问的 ) | FineReport字段,BI不适用 |
5.2 配置信息(confentity 表)
每日将 FineDB 中的 fine_conf_entity 表中的特定信息记录一次。
| 字段 | 含义 |
|---|---|
| id | 数据在配置中的位置 |
| value | 数据值 |
| time | 精确到年月日,与数据包时间相同 |
5.3 性能埋点收集(consumepoint表)
| 字段 | 含义 | 备注 |
|---|---|---|
| id | 区分类别的父类ID | |
| source | 埋点来源 | EMBED(1), PLUGIN(2), UNDEFINED(-1), REPORT(4), BI(8) |
| time | 时间 | 开始时间(时间戳格式) |
| username | 操作者 | 进行了转码处理 |
| finish | 结束时间 | FineReport字段,BI不适用 |
| consume | 耗时,单位ms | |
| memory | 内存大小,单位byte | FineReport字段,BI不适用 |
| title | 资源id | 可以是模板id,分析表id,表id等 |
| text | 资源内容 | FineReport字段,BI不适用 |
| type | 操作类型 | FineReport字段,BI不适用 |
| comment | 资源备注 | FineReport字段,BI不适用 |
| body | 埋点具体信息 |
5.4 当前容器配置情况(containermessage 表)
应用所在容器,服务器的配置信息,每日记录一次。
| 字段 | 含义 |
|---|---|
| node | 节点名 |
| time | 时间,精确到年月日 |
| item | 配置项 |
| value | 值 |
其中 itme 包括:
| item | 说明 |
|---|---|
| containerMem | 容器设置的内存大小 |
| cpu | cpu 核数 |
| disk | 磁盘情况 |
| jdkVersion | jdk 版本 |
| containerVersion | web 容器版本 |
| machineMem | 物理机内存 |
| system | 服务器操作系统 |
| systemNum | 服务器操作系统位数 |
| arch | 处理器架构,如 x86_64、x86 |
| diskSpeed | 磁盘存取速度 |
| buildNO | jar 包版本 |
| licType | 注册类型(正式/临时) |
| expireTime | 注册到期时间 |
| productVersion | 产品版本 |
| company | 公司名称 |
| projectName | 项目名称 |
| companyId | 公司ID |
5.5 仪表板组件数据集关系埋点(dashboard表)
| 字段 | 含义 | 备注 |
|---|---|---|
| 公司ID | 绑定的license中的公司ID | |
| 创建者 | 创建者的用户名 | |
| 资源大类创建者 | 创建者的用户编码 | 经过转码处理 |
| 资源大类 | 仪表板或数据集 | 模板=仪表板 表=数据集 |
| 资源大类名称 | 模板名称(非全路径)或表名称 | 资源大类=仪表板;名称为模板名称 资源大类=数据集;名称为表转义名 |
| 资源大类ID | 模板ID或表原始名 | 资源大类=仪表板;ID为模板ID 资源大类=数据集;ID为表原始名 |
| 资源小类 | 资源细分类别 | 分析组件:正常组件 过滤组件:控件 其他组件:图片、web、文本组件 分析表:自助数据集 基础表:sql表、DB表、excel表 |
| 资源小类名称 | 组件名称或表转义名 | 资源大类=仪表板;名称为组件名称 资源大类=数据集;名称为表转义名(同资源大类名称) |
| 资源小类ID | 组件ID或表原始名 | 资源大类=仪表板;ID为组件ID 资源大类=数据集;ID为表原始名(同资源大类名称) |
| 使用数据集名称 | 该资源所用到的数据表名 | 资源大类=仪表板;名称=该组件所使用表的转义名(一个组件对应一行数据一张表,没有则记录【无】) 资源大类=数据集;名称=该数据表的直接父表的转义名(一个数据表可对应有多张父表,没有则记录【无】) |
| 使用数据集原始名 | 该资源所用到的数据表的原始名 | |
| 使用数据集ID | 该资源所用到的数据表ID | |
| 使用数据集类型 | 该资源所用到的数据表的类型 | 分析表:自助数据集 基础表:sql表、DB表、excel表 |
| 数据集创建者 | 该数据表的创建者 | 经过转码处理 |
5.6 模板使用情况(execute表)
| 字段 | 含义 |
|---|---|
| id | 主键 |
| tname | 物理模板名字 |
| displayName | 挂载到平台的目录名称(全路径),如果直接访问链接则为空 |
| time | 记录的时间,精确到秒 |
| memory | 报表占用内存,单位 B |
| type | 报表访问方式 |
| consume | 后台耗时 |
| sqlTime | sql 执行耗时间 |
| userId | 用户 ID |
| complete | 是否计算完成 |
| source | 链接访问/平台访问 |
| reportId | 模板 ID |
5.7 sql执行情况(executesql表)
sql 的执行记录明细。
| 字段 | 含义 |
|---|---|
| executeid | 执行表 id |
| dsname | 数据集的名称 |
| sqltime | sql 执行时间,单位毫秒 |
| rows | 数据集规模,行 |
| columns | 数据集规模,列 |
| time | 执行时间,时间戳格式 |
5.8 功能点购买情况(functionpossess表)
功能点购买情况,每日记录一次。
| 字段 | 含义 |
|---|---|
| time | 生成时间,该时间格式类似 2018-11-01 的形式(记为与数据包时间相同) |
| function | 功能点购买情况 |
5.9 功能使用情况(functionusagerate表)
功能点的使用情况。
| 字段 | 含义 |
|---|---|
| id | 功能点id |
| source | 功能点的类型,Original 类里面 embed 表示当前系统的,plugin 表示插件的埋点,undefined 表示没有定义来源 |
| time | 使用该功能的时间点,精确到秒 |
| text | 功能点的主要信息 |
| body | 埋点具体信息,一个 json 数据结构,根据不同的埋点里面存放不同的信息(可能为空) |
| username | 用户名 ID |
5.10 交互即使埋点(honeypot表)
| 字段 | 含义 | 备注 |
|---|---|---|
| 类型 (id) | 区分类别的父类ID | |
| 参数 (param) | 记录备注信息,主要记录步骤的名称、状态、等内容 | |
| 时间 (time) | 时间 | |
| 用户名 (username) | 用户名 | 经转码处理 |
| 用户类型 (userType) | ||
| 对象 (target) | 该步骤的操作对象,资源id;记录模板id,分析表id,表id等 | |
| 表转义名 (transferName) | 操作对象的转义名 | |
| 表唯一标识 (tableId) | ||
| 公司ID (companyName) | license中的公司ID | |
| 项目名字 (projectName) | license中的项目名称 | |
| 版本 (version) | license中的版本号 |
5.11 报错埋点(logpoint表)
| 字段 | 含义 | 备注 |
|---|---|---|
| 埋点类型编号 | 区分类别的父类ID | |
| 出现报错时间 | ||
| 错误代码 | 具体的错误代码 | 参考错误代码 |
5.12 交互统一埋点(normalization_detail表)
| 字段 | 含义 |
|---|---|
| 对象(target) | 埋点编号 |
| 参数(param) | 记录备注信息,主要记录步骤的名称、状态、等内容 |
| 公司ID(companyName) | license中的公司ID |
| 项目名字(projectName) | license中的公司ID |
| 版本(version) | license中的公司ID |
5.13 包信息(package表)
应用的基本信息,每个数据包里都包含这个,用于鉴别数据包的来源。
| 字段 | 含义 |
|---|---|
| appname | 应用名称 |
| appid | 应用 id |
| time | 数据包时间,比如 2018-11-01(自动导出情况下:每日凌晨四点导出前一天的包,记为导出日期的前一日) |
| version | 云端运维版本 |
5.14 插件使用情况(pluginusage表)
插件的使用情况,每个插件每日记录一次。
| 字段 | 含义 |
|---|---|
| time | 记为与数据包时间相同 |
| plugin | 插件名 |
| version | 插件版本 |
| API | 插件中所有接口情况 |
| opration | 插件运行情况 |
| register | 插件注册情况 |
| enable | 插件是否启用 |
5.15 应用实时情况(realtimeusage 表)
每分钟记录一条到 swift 中,导出指定日数据。
| 字段 | 含义 |
|---|---|
| node | 节点名 |
| time | 记录时间,每分钟一条 |
| memory | 当前 jvm 内存情况 |
| cpu | cpu 利用率 |
| sessionnum | 存活会话数 |
| onlinenum | 系统在线人数 |
| pid | 进程pid |
5.16 系统关闭情况(shutdownrecord 表)
| 字段 | 含义 |
|---|---|
| node | 节点名 |
| time | 当前时间 |
| pid | 进程pid |
| startTime | 进程开始时间 |
| upTime | 进程持续时间 |
| signalName | 信号量 |
5.17 报表模板属性(tplinfo 表)
报表模板的各项信息,每张模板每天输出一天记录(FineBI 中有用到 cpt 的话,也会有数据信息)。
| 字段 | 含义 |
|---|---|
| cnums | 条件属性个数 |
| compformnums | 复杂公式的个数(包括层次坐标、sql、value 公式) |
| dsnums | 数据集个数 |
| execute0-execute4 | 执行时间的 5 级的分段记录 |
| filternums | 过滤个数 |
| formnums | 公式个数 |
| formula | 模板内公式使用情况 |
| id | 主键 |
| imgsize | 模板里图片的大小 |
| injectnums | 参数注入个数 |
| isfoldtree | 是否使用了折叠树 |
| isfrozen | 是否使用了冻结 |
| jsapi | 模板内 JS API 使用情况 |
| mem0-mem4 | 内存使用量的 5 级的分段记录 |
| recordtime | 时间,精确到日,格式如:20190401 |
| sheetnums | 多 sheet 个数 |
| sql0-sql4 | sql 执行时间的 5 级的分段记录 |
| submitnums | 内置提交的个数 |
| tid | 模板 id |
| tname | 物理模板名字( reportlets 下的完整路径) |
| tsize | 模板总大小 |
| widgetnums | 控件个数 |
| time | 记录时间,时间戳格式 |
6、日志收集编辑
服务器日志会以压缩包的形式保存入 treasures 数据包,格式为:fanruan.log.2019-05-20.gz 在 logs 文件夹下;gc 日志以文件形式存入 treasures 数据包,格式为 fanruan.gc.log.2019-06-19,在 logs/gclogs 文件夹下。
1)日志文件夹内容(logs 文件夹)
日志文件夹下有多天的 fanruan.log 压缩文件以及一个 gclogs 文件夹,gclogs 文件夹打开后有多天的 fanuran.gc.log 文件。若在集群环境下 fanruan.gc.log 的后缀为节点名,如下图中所示:

2)月数据包信息文件(package.json)
json 格式,其中信息为应用名称、应用 ID 、该月数据包所属月份以及该月数据包所含日数据包的个数。

7、其他说明编辑
若导出数据包时该日数据包已存在,则先将该日数据包删除后再导出,即进行覆盖操作。
(例如 2019-03-02 日凌晨四点会导出 2019-03-01 日数据包。而在 2019-03-01 日用户进行过手动下载,已生成当日数据包,2019-03-02 日凌晨四点导出的数据包则会将之前生成的数据包覆盖)。


