1、版本编辑
FineBI版本 | jar包版本 |
---|---|
5.1 | 2019.07.15 |
2、描述编辑
前面我们已经介绍过云端运维,关于云端运维数据包收据具体 CSV 表结构的说明如下所示。
3、数据包获取编辑
4、数据包整体结构编辑
1)月数据包
将获取的云端运维数据包解压后,有多个日数据包+1 个日志文件夹+1 个月数据包信息文件( json 格式)。如下图:
2)日数据包
日数据包解压后有 17 张表,如下图:
5、数据包构成编辑
5.1 模板访问情况(BIExecute表)
字段 | 含义 | 备注 |
---|---|---|
id | 主键 | |
tname | 物理模板名字 | 文件夹名称/……/模板名称 FineReport报表有后缀【.cpt】 |
displayName | 挂载到平台的目录名称(全路径),如果直接访问链接则为空 | 没有挂出的BI模板显示BI模板名 |
time | 日志开始时间 | 时间戳格式 |
memory | 报表占用内存,单位B | FineReport字段,BI不适用 |
type | 模板访问方式,具体列举在右侧的备注中 | 10=导出excel 14=导出PDF 101=预览BI模板 102=编辑BI模板 103=分享查看BI模板 104=创建BI公共链接 |
username | 执行模板的用户 | |
userrole | 执行模板的用户角色 | |
consume | 执行耗时,包括sql执行时间,报表计算时间 | |
sqlTime | sql执行的总时间 | FineReport字段,BI不适用 |
reportID | 模板编号 | |
userId | 用户Id | |
complete | 是否计算完成 | FineReport字段,BI不适用 |
resource | 访问方式(integration是通过url访问,single是平台访问的 ) | FineReport字段,BI不适用 |
5.2 配置信息(confentity 表)
每日将 FineDB 中的 fine_conf_entity 表中的特定信息记录一次。
字段 | 含义 |
---|---|
id | 数据在配置中的位置 |
value | 数据值 |
time | 精确到年月日,与数据包时间相同 |
5.3 性能埋点收集(consumepoint表)
字段 | 含义 | 备注 |
---|---|---|
id | 区分类别的父类ID | |
source | 埋点来源 | EMBED(1), PLUGIN(2), UNDEFINED(-1), REPORT(4), BI(8) |
time | 时间 | 开始时间(时间戳格式) |
username | 操作者 | 进行了转码处理 |
finish | 结束时间 | FineReport字段,BI不适用 |
consume | 耗时,单位ms | |
memory | 内存大小,单位byte | FineReport字段,BI不适用 |
title | 资源id | 可以是模板id,分析表id,表id等 |
text | 资源内容 | FineReport字段,BI不适用 |
type | 操作类型 | FineReport字段,BI不适用 |
comment | 资源备注 | FineReport字段,BI不适用 |
body | 埋点具体信息 |
5.4 当前容器配置情况(containermessage 表)
应用所在容器,服务器的配置信息,每日记录一次。
字段 | 含义 |
---|---|
node | 节点名 |
time | 时间,精确到年月日 |
item | 配置项 |
value | 值 |
其中 itme 包括:
item | 说明 |
---|---|
containerMem | 容器设置的内存大小 |
cpu | cpu 核数 |
disk | 磁盘情况 |
jdkVersion | jdk 版本 |
containerVersion | web 容器版本 |
machineMem | 物理机内存 |
system | 服务器操作系统 |
systemNum | 服务器操作系统位数 |
arch | 处理器架构,如 x86_64、x86 |
diskSpeed | 磁盘存取速度 |
buildNO | jar 包版本 |
licType | 注册类型(正式/临时) |
expireTime | 注册到期时间 |
productVersion | 产品版本 |
company | 公司名称 |
projectName | 项目名称 |
companyId | 公司ID |
5.5 组件数据集血缘关系情况(dashboard表)
字段 | 含义 | 备注 |
---|---|---|
公司ID | 绑定的license中的公司ID | |
创建者 | 创建者的用户名 | |
资源大类创建者 | 创建者的用户编码 | 经过转码处理 |
资源大类 | 仪表板或数据集 | 模板=仪表板 表=数据集 |
资源大类名称 | 模板名称(非全路径)或表名称 | 资源大类=仪表板;名称为模板名称 资源大类=数据集;名称为表转义名 |
资源大类ID | 模板ID或表原始名 | 资源大类=仪表板;ID为模板ID 资源大类=数据集;ID为表原始名 |
资源小类 | 资源细分类别 | 分析组件:正常组件 过滤组件:控件 其他组件:图片、web、文本组件 分析表:自助数据集 基础表:sql表、DB表、excel表 |
资源小类名称 | 组件名称或表转义名 | 资源大类=仪表板;名称为组件名称 资源大类=数据集;名称为表转义名(同资源大类名称) |
资源小类ID | 组件ID或表原始名 | 资源大类=仪表板;ID为组件ID 资源大类=数据集;ID为表原始名(同资源大类名称) |
使用数据集名称 | 该资源所用到的数据表名 | 资源大类=仪表板;名称=该组件所使用表的转义名(一个组件对应一行数据一张表,没有则记录【无】) 资源大类=数据集;名称=该数据表的直接父表的转义名(一个数据表可对应有多张父表,没有则记录【无】) |
使用数据集原始名 | 该资源所用到的数据表的原始名 | |
使用数据集ID | 该资源所用到的数据表ID | |
使用数据集类型 | 该资源所用到的数据表的类型 | 分析表:自助数据集 基础表:sql表、DB表、excel表 |
数据集创建者 | 该数据表的创建者 | 经过转码处理 |
5.6 模板使用情况(execute表)
字段 | 含义 |
---|---|
id | 主键 |
tname | 物理模板名字 |
displayName | 挂载到平台的目录名称(全路径),如果直接访问链接则为空 |
time | 记录的时间,精确到秒 |
memory | 报表占用内存,单位 B |
type | 报表访问方式 |
consume | 后台耗时 |
sqlTime | sql 执行耗时间 |
userId | 用户 ID |
complete | 是否计算完成 |
source | 链接访问/平台访问 |
reportId | 模板 ID |
5.7 sql执行情况(executesql表)
sql 的执行记录明细。
字段 | 含义 |
---|---|
executeid | 执行表 id |
dsname | 数据集的名称 |
sqltime | sql 执行时间,单位毫秒 |
rows | 数据集规模,行 |
columns | 数据集规模,列 |
time | 执行时间,时间戳格式 |
5.8 功能点购买情况(functionpossess表)
功能点购买情况,每日记录一次。
字段 | 含义 |
---|---|
time | 生成时间,该时间格式类似 2018-11-01 的形式(记为与数据包时间相同) |
function | 功能点购买情况 |
5.9 功能使用情况(functionusagerate表)
功能点的使用情况。
字段 | 含义 |
---|---|
id | 功能点id |
source | 功能点的类型,Original 类里面 embed 表示当前系统的,plugin 表示插件的埋点,undefined 表示没有定义来源 |
time | 使用该功能的时间点,精确到秒 |
text | 功能点的主要信息 |
body | 埋点具体信息,一个 json 数据结构,根据不同的埋点里面存放不同的信息(可能为空) |
username | 用户名 ID |
5.10 用户交互操作信息(honeypot表)
字段 | 含义 | 备注 |
---|---|---|
类型 (id) | 区分类别的父类ID | |
参数 (param) | 记录备注信息,主要记录步骤的名称、状态、等内容 | |
时间 (time) | 时间 | |
用户名 (username) | 用户名 | 经转码处理 |
用户类型 (userType) | ||
对象 (target) | 该步骤的操作对象,资源id;记录模板id,分析表id,表id等 | |
表转义名 (transferName) | 操作对象的转义名 | |
表唯一标识 (tableId) | ||
公司ID (companyName) | license中的公司ID | |
项目名字 (projectName) | license中的项目名称 | |
版本 (version) | license中的版本号 |
5.11 系统报错情况(logpoint表)
字段 | 含义 | 备注 |
---|---|---|
埋点类型编号 | 区分类别的父类ID | |
出现报错时间 | ||
错误代码 | 具体的错误代码 | 参考错误代码 |
5.12 用户交互行为信息(normalization_detail表)
字段 | 含义 |
---|---|
对象(target) | 埋点编号 |
参数(param) | 记录备注信息,主要记录步骤的名称、状态、等内容 |
公司ID(companyName) | license中的公司ID |
项目名字(projectName) | license中的公司ID |
版本(version) | license中的公司ID |
5.13 包信息(package表)
应用的基本信息,每个数据包里都包含这个,用于鉴别数据包的来源。
字段 | 含义 |
---|---|
appname | 应用名称 |
appid | 应用 id |
time | 数据包时间,比如 2018-11-01(自动导出情况下:每日凌晨四点导出前一天的包,记为导出日期的前一日) |
version | 云端运维版本 |
5.14 插件使用情况(pluginusage表)
插件的使用情况,每个插件每日记录一次。
字段 | 含义 |
---|---|
time | 记为与数据包时间相同 |
plugin | 插件名 |
version | 插件版本 |
API | 插件中所有接口情况 |
opration | 插件运行情况 |
register | 插件注册情况 |
enable | 插件是否启用 |
5.15 应用实时情况(realtimeusage 表)
每分钟记录一条到 swift 中,导出指定日数据。
字段 | 含义 |
---|---|
node | 节点名 |
time | 记录时间,每分钟一条 |
memory | 当前 jvm 内存情况 |
cpu | cpu 利用率 |
sessionnum | 存活会话数 |
onlinenum | 系统在线人数 |
pid | 进程pid |
5.16 系统关闭情况(shutdownrecord 表)
字段 | 含义 |
---|---|
node | 节点名 |
time | 当前时间 |
pid | 进程pid |
startTime | 进程开始时间 |
upTime | 进程持续时间 |
signalName | 信号量 |
5.17 报表模板属性(tplinfo 表)
报表模板的各项信息,每张模板每天输出一天记录(FineBI 中有用到 cpt 的话,也会有数据信息)。
字段 | 含义 |
---|---|
cnums | 条件属性个数 |
compformnums | 复杂公式的个数(包括层次坐标、sql、value 公式) |
dsnums | 数据集个数 |
execute0-execute4 | 执行时间的 5 级的分段记录 |
filternums | 过滤个数 |
formnums | 公式个数 |
formula | 模板内公式使用情况 |
id | 主键 |
imgsize | 模板里图片的大小 |
injectnums | 参数注入个数 |
isfoldtree | 是否使用了折叠树 |
isfrozen | 是否使用了冻结 |
jsapi | 模板内 JS API 使用情况 |
mem0-mem4 | 内存使用量的 5 级的分段记录 |
recordtime | 时间,精确到日,格式如:20190401 |
sheetnums | 多 sheet 个数 |
sql0-sql4 | sql 执行时间的 5 级的分段记录 |
submitnums | 内置提交的个数 |
tid | 模板 id |
tname | 物理模板名字( reportlets 下的完整路径) |
tsize | 模板总大小 |
widgetnums | 控件个数 |
time | 记录时间,时间戳格式 |
6、日志收集编辑
服务器日志会以压缩包的形式保存入 treasures 数据包,格式为:fanruan.log.2019-05-20.gz 在 logs 文件夹下;gc 日志以文件形式存入 treasures 数据包,格式为 fanruan.gc.log.2019-06-19,在 logs/gclogs 文件夹下。
1)日志文件夹内容(logs 文件夹)
日志文件夹下有多天的 fanruan.log 压缩文件以及一个 gclogs 文件夹,gclogs 文件夹打开后有多天的 fanuran.gc.log 文件。若在集群环境下 fanruan.gc.log 的后缀为节点名,如下图中所示:
2)月数据包信息文件(package.json)
json 格式,其中信息为应用名称、应用 ID 、该月数据包所属月份以及该月数据包所含日数据包的个数。
7、其他说明编辑
若导出数据包时该日数据包已存在,则先将该日数据包删除后再导出,即进行覆盖操作。
(例如 2019-03-02 日凌晨四点会导出 2019-03-01 日数据包。而在 2019-03-01 日用户进行过手动下载,已生成当日数据包,2019-03-02 日凌晨四点导出的数据包则会将之前生成的数据包覆盖)。