历史版本3 :云端运维日志包表结构说明 返回文档
编辑时间:
内容长度:图片数:目录数:
修改原因:
1、版本编辑
| FineBI版本 | jar包版本 |
|---|---|
| 5.1 | 2019.07.15 |
2、描述编辑
前面我们已经介绍过云端运维，关于云端运维数据包收据具体 CSV 表结构的说明如下所示。
3、数据包获取编辑
4、数据包整体结构编辑
1）月数据包
将获取的云端运维数据包解压后，有多个日数据包+1 个日志文件夹+1 个月数据包信息文件( json 格式)。如下图：
2）日数据包
日数据包解压后有 17 张表，如下图：
5、数据包构成编辑
5.1 模板访问情况（BIExecute表）
| 字段 | 含义 | 备注 |
|---|---|---|
| id | 主键 | |
| tname | 物理模板名字 | 文件夹名称/……/模板名称 FineReport报表有后缀【.cpt】 |
| displayName | 挂载到平台的目录名称（全路径），如果直接访问链接则为空 | 没有挂出的BI模板显示BI模板名 |
| time | 日志开始时间 | 时间戳格式 |
| memory | 报表占用内存，单位B | FineReport字段，BI不适用 |
| type | 模板访问方式，具体列举在右侧的备注中 | 10=导出excel 14=导出PDF 101=预览BI模板 102=编辑BI模板 103=分享查看BI模板 104=创建BI公共链接 |
| username | 执行模板的用户 | |
| userrole | 执行模板的用户角色 | |
| consume | 执行耗时，包括sql执行时间,报表计算时间 | |
| sqlTime | sql执行的总时间 | FineReport字段，BI不适用 |
| reportID | 模板编号 | |
| userId | 用户Id | |
| complete | 是否计算完成 | FineReport字段，BI不适用 |
| resource | 访问方式（integration是通过url访问，single是平台访问的 ） | FineReport字段，BI不适用 |
5.2 配置信息（confentity 表）
每日将 FineDB 中的 fine_conf_entity 表中的特定信息记录一次。
| 字段 | 含义 |
|---|---|
| id | 数据在配置中的位置 |
| value | 数据值 |
| time | 精确到年月日，与数据包时间相同 |
5.3 性能埋点收集（consumepoint表）
| 字段 | 含义 | 备注 |
|---|---|---|
| id | 区分类别的父类ID | |
| source | 埋点来源 | EMBED(1), PLUGIN(2), UNDEFINED(-1), REPORT(4), BI(8) |
| time | 时间 | 开始时间（时间戳格式） |
| username | 操作者 | 进行了转码处理 |
| finish | 结束时间 | FineReport字段，BI不适用 |
| consume | 耗时，单位ms | |
| memory | 内存大小，单位byte | FineReport字段，BI不适用 |
| title | 资源id | 可以是模板id，分析表id，表id等 |
| text | 资源内容 | FineReport字段，BI不适用 |
| type | 操作类型 | FineReport字段，BI不适用 |
| comment | 资源备注 | FineReport字段，BI不适用 |
| body | 埋点具体信息 |
5.4 当前容器配置情况（containermessage 表）
应用所在容器，服务器的配置信息，每日记录一次。
| 字段 | 含义 |
|---|---|
| node | 节点名 |
| time | 时间，精确到年月日 |
| item | 配置项 |
| value | 值 |
其中 itme 包括：
| item | 说明 |
|---|---|
| containerMem | 容器设置的内存大小 |
| cpu | cpu 核数 |
| disk | 磁盘情况 |
| jdkVersion | jdk 版本 |
| containerVersion | web 容器版本 |
| machineMem | 物理机内存 |
| system | 服务器操作系统 |
| systemNum | 服务器操作系统位数 |
| arch | 处理器架构，如 x86_64、x86 |
| diskSpeed | 磁盘存取速度 |
| buildNO | jar 包版本 |
| licType | 注册类型（正式/临时） |
| expireTime | 注册到期时间 |
| productVersion | 产品版本 |
| company | 公司名称 |
| projectName | 项目名称 |
| companyId | 公司ID |
5.5 仪表板组件数据集关系埋点（dashboard表）
| 字段 | 含义 | 备注 |
|---|---|---|
| 公司ID | 绑定的license中的公司ID | |
| 创建者 | 创建者的用户名 | |
| 资源大类创建者 | 创建者的用户编码 | 经过转码处理 |
| 资源大类 | 仪表板或数据集 | 模板=仪表板 表=数据集 |
| 资源大类名称 | 模板名称（非全路径）或表名称 | 资源大类=仪表板；名称为模板名称 资源大类=数据集；名称为表转义名 |
| 资源大类ID | 模板ID或表原始名 | 资源大类=仪表板；ID为模板ID 资源大类=数据集；ID为表原始名 |
| 资源小类 | 资源细分类别 | 分析组件：正常组件 过滤组件：控件 其他组件：图片、web、文本组件 分析表：自助数据集 基础表：sql表、DB表、excel表 |
| 资源小类名称 | 组件名称或表转义名 | 资源大类=仪表板；名称为组件名称 资源大类=数据集；名称为表转义名（同资源大类名称） |
| 资源小类ID | 组件ID或表原始名 | 资源大类=仪表板；ID为组件ID 资源大类=数据集；ID为表原始名（同资源大类名称） |
| 使用数据集名称 | 该资源所用到的数据表名 | 资源大类=仪表板；名称=该组件所使用表的转义名（一个组件对应一行数据一张表，没有则记录【无】） 资源大类=数据集；名称=该数据表的直接父表的转义名（一个数据表可对应有多张父表，没有则记录【无】） |
| 使用数据集原始名 | 该资源所用到的数据表的原始名 | |
| 使用数据集ID | 该资源所用到的数据表ID | |
| 使用数据集类型 | 该资源所用到的数据表的类型 | 分析表：自助数据集 基础表：sql表、DB表、excel表 |
| 数据集创建者 | 该数据表的创建者 | 经过转码处理 |
5.6 模板使用情况（execute表）
| 字段 | 含义 |
|---|---|
| id | 主键 |
| tname | 物理模板名字 |
| displayName | 挂载到平台的目录名称（全路径），如果直接访问链接则为空 |
| time | 记录的时间，精确到秒 |
| memory | 报表占用内存，单位 B |
| type | 报表访问方式 |
| consume | 后台耗时 |
| sqlTime | sql 执行耗时间 |
| userId | 用户 ID |
| complete | 是否计算完成 |
| source | 链接访问/平台访问 |
| reportId | 模板 ID |
5.7 sql执行情况（executesql表）
sql 的执行记录明细。
| 字段 | 含义 |
|---|---|
| executeid | 执行表 id |
| dsname | 数据集的名称 |
| sqltime | sql 执行时间，单位毫秒 |
| rows | 数据集规模，行 |
| columns | 数据集规模，列 |
| time | 执行时间，时间戳格式 |
5.8 功能点购买情况（functionpossess表）
功能点购买情况，每日记录一次。
| 字段 | 含义 |
|---|---|
| time | 生成时间，该时间格式类似 2018-11-01 的形式（记为与数据包时间相同） |
| function | 功能点购买情况 |
5.9 功能使用情况（functionusagerate表）
功能点的使用情况。
| 字段 | 含义 |
|---|---|
| id | 功能点id |
| source | 功能点的类型，Original 类里面 embed 表示当前系统的，plugin 表示插件的埋点，undefined 表示没有定义来源 |
| time | 使用该功能的时间点，精确到秒 |
| text | 功能点的主要信息 |
| body | 埋点具体信息，一个 json 数据结构，根据不同的埋点里面存放不同的信息（可能为空） |
| username | 用户名 ID |
5.10 交互即使埋点（honeypot表）
| 字段 | 含义 | 备注 |
|---|---|---|
| 类型 (id) | 区分类别的父类ID | |
| 参数 (param) | 记录备注信息，主要记录步骤的名称、状态、等内容 | |
| 时间 (time) | 时间 | |
| 用户名 (username) | 用户名 | 经转码处理 |
| 用户类型 (userType) | ||
| 对象 (target) | 该步骤的操作对象，资源id；记录模板id，分析表id，表id等 | |
| 表转义名 (transferName) | 操作对象的转义名 | |
| 表唯一标识 (tableId) | ||
| 公司ID (companyName) | license中的公司ID | |
| 项目名字 (projectName) | license中的项目名称 | |
| 版本 (version) | license中的版本号 |
5.11 报错埋点（logpoint表）
| 字段 | 含义 | 备注 |
|---|---|---|
| 埋点类型编号 | 区分类别的父类ID | |
| 出现报错时间 | ||
| 错误代码 | 具体的错误代码 | 参考错误代码 |
5.12 交互统一埋点（normalization_detail表）
| 字段 | 含义 |
|---|---|
| 对象(target) | 埋点编号 |
| 参数(param) | 记录备注信息，主要记录步骤的名称、状态、等内容 |
| 公司ID(companyName) | license中的公司ID |
| 项目名字(projectName) | license中的公司ID |
| 版本(version) | license中的公司ID |
5.13 包信息（package表）
应用的基本信息，每个数据包里都包含这个，用于鉴别数据包的来源。
| 字段 | 含义 |
|---|---|
| appname | 应用名称 |
| appid | 应用 id |
| time | 数据包时间，比如 2018-11-01（自动导出情况下：每日凌晨四点导出前一天的包，记为导出日期的前一日） |
| version | 云端运维版本 |
5.14 插件使用情况（pluginusage表）
插件的使用情况，每个插件每日记录一次。
| 字段 | 含义 |
|---|---|
| time | 记为与数据包时间相同 |
| plugin | 插件名 |
| version | 插件版本 |
| API | 插件中所有接口情况 |
| opration | 插件运行情况 |
| register | 插件注册情况 |
| enable | 插件是否启用 |
5.15 应用实时情况（realtimeusage 表）
每分钟记录一条到 swift 中，导出指定日数据。
| 字段 | 含义 |
|---|---|
| node | 节点名 |
| time | 记录时间，每分钟一条 |
| memory | 当前 jvm 内存情况 |
| cpu | cpu 利用率 |
| sessionnum | 存活会话数 |
| onlinenum | 系统在线人数 |
| pid | 进程pid |
5.16 系统关闭情况（shutdownrecord 表）
| 字段 | 含义 |
|---|---|
| node | 节点名 |
| time | 当前时间 |
| pid | 进程pid |
| startTime | 进程开始时间 |
| upTime | 进程持续时间 |
| signalName | 信号量 |
5.17 报表模板属性（tplinfo 表）
报表模板的各项信息，每张模板每天输出一天记录（FineBI 中有用到 cpt 的话，也会有数据信息）。
| 字段 | 含义 |
|---|---|
| cnums | 条件属性个数 |
| compformnums | 复杂公式的个数（包括层次坐标、sql、value 公式） |
| dsnums | 数据集个数 |
| execute0-execute4 | 执行时间的 5 级的分段记录 |
| filternums | 过滤个数 |
| formnums | 公式个数 |
| formula | 模板内公式使用情况 |
| id | 主键 |
| imgsize | 模板里图片的大小 |
| injectnums | 参数注入个数 |
| isfoldtree | 是否使用了折叠树 |
| isfrozen | 是否使用了冻结 |
| jsapi | 模板内 JS API 使用情况 |
| mem0-mem4 | 内存使用量的 5 级的分段记录 |
| recordtime | 时间，精确到日，格式如：20190401 |
| sheetnums | 多 sheet 个数 |
| sql0-sql4 | sql 执行时间的 5 级的分段记录 |
| submitnums | 内置提交的个数 |
| tid | 模板 id |
| tname | 物理模板名字（ reportlets 下的完整路径） |
| tsize | 模板总大小 |
| widgetnums | 控件个数 |
| time | 记录时间，时间戳格式 |