反馈已提交

网络繁忙

云端运维数据包具体CSV表结构说明

  • 文档创建者:doreen0813
  • 编辑次数:10次
  • 最近更新:Carly 于 2021-04-05
  • 1. 概述

    1.1 版本

    FineBI 版本JAR 包版本功能变更
    5.12019-07-15-
    5.1.72020-11-05

    新增数据表:recordOperate

    新增数据表:recordWrite

    5.1.112021-04-02

    新增数据表:BIUpdateTask

    新增数据表:BIUpdateTaskDetail

    1.2 功能简介

    treasures 数据包的具体 CSV 表结构,下面将详细说明。

    2. 数据包获取

    以管理员身份进入数据决策系统,点击「管理系统>智能运维>云端运维」,点击「下载日志」即可下载云端运维数据包。如下图所示:

    4.png

    注:下载数据前,需要登录帆软通行证。

    3. 数据包整体结构

    3.1 月数据包

    解压后有多个日数据包+一个月数据包信息文件( json 格式)。如下图所示:

    1594792943459392.png

    3.2 日数据包

    日数据包解压后有 12 张 CSV 表。如下图所示:

    1594795031830705.png

    3.3 日志导出

    服务器日志会以压缩包的形式保存入 treasures.zip 数据包。数据包中有两种文件,分别是:

    1)所选月份的日志文件(treasxxxxxx.zip)

    2)月数据包信息文件(package.json)

    Snag_14c37b7d.png

    其中,package.json 文件中信息为应用名称、应用 ID 、该月数据包所属月份以及该月数据包所含日数据包的个数。

    • 多月 treasure 压缩包中的 json 文件内容:

    1591345006439647.png

    • 单月 treasure 压缩包中的 json 文件内容:

    1591345288390665.png

    4. 数据包构成

    4.1 BIExecute

    仪表板访问情况。


    字段含义备注
    id主键-
    tname仪表板名字

    文件夹名称/……/仪表板名称

    FineReport 报表有后缀.cpt

    displayName
    记录被分享的数据集名称没有挂出的 BI 仪表板显示仪表板名
    time
    日志开始时间时间戳格式
    memory
    报表占用内存,单位 BFineReport 字段,BI 不适用
    type
    仪表板访问方式,具体列举在下文

    -

    username
    执行仪表板的用户-
    userrole
    执行仪表板的用户角色-
    consume

    BI 仪表板访问耗时,从打开仪表板到所有组件加载完成的时间,单位为毫秒

    注:该 BI 仪表板访问耗时为 2019-04 之后的版本增加。
    sqlTime
    sql 执行的总时间FineReport字段,BI 不适用
    reportID仪表板编号-
    userId用户 Id-
    complete是否计算完成FineReport字段,BI 不适用
    source访问方式(integration 是通过 url 访问,single 是平台访问的 )FineReport字段,BI 不适用

    字段 type 具体含义:


    编码  类型  markString 
    0分页预览page
    1在线分析view
    2填报预览  write
    3决策报表预览form
    4行式引擎layer
    5在线编辑edit
    6新填报write_plus
    7新引擎预览page_plus
    10Excel 分页导出excel
    11Excel 原样导出excelO
    12Excel 整页导出excelL
    13Excel 分页分 sheet 导出excelS
    14PDF 导出pdf
    15Word 导出word
    16SVG 导出svg
    17CSV 导出csv
    18文本导出text
    19JPG 图片导出 jpg
    20PNG 图片导出png
    21GIF 图片导出gif
    22BMP 图片导出bmp
    23WBMP 图片导出 wbmp
    24内置数据集导出模板cpt
    25HTML 导出html
    26填报 HTML 导出write_html
    27BI 导出 Excel
    30Flash 打印print_flash
    31PDF 打印print_pdf
    32 Applet 打印print_applet 
    33零客户端打印print_noclient
    34本地软件打印print_native
    101BI 模板预览bi_view
    102

    BI 模板编辑

    1)记录逻辑:点开一张仪表板进入编辑状态,等待页面全部加载完毕,无论做多少操作或不做操作,记录一次;下次再点模板进去编辑或者刷新网页记录第二次

    2)同一张仪表板,每次编辑都会有记录

    bi_edit
    103BI 模板分享bi_share
    104记录创建的公共链接操作bi_create_publink
    105记录公共链接访问情况bi_view_share
    106BI 模板全局导出 PDFbi_template_export_pdf
    107BI 模板全局导出 Excelbi_template_export_excel
    108BI 组件导出 Excelbi_component_export_excel
    201关闭浏览器或者 Tab 页(BI)
    203BI 数据集分享bi_analysis_table_share


    4.2 BIUpdateTask

    更新任务表

    注:5.1.11 及之后版本的 FineBI 新增该表。

    字段含义备注
    planId任务实例唯一标识,每一次运行都不同-
    taskName任务名称表名+任务类型(单表/业务包/全局)
    startTime任务开始时间-
    endTime任务结束时间-
    runningResult完成状态

    1 全部成功

    2 部分成功

    state更新状态

    1 已结束

    2 运行

    triggerType触发方式

    1 手动

    2 定时

    roleId触发人Id-
    roleName触发人名称-
    countOverView任务中各类型的表的更新情况。JSON

    expectBaseTableUpdate 期望的基础表数量

    actualBaseTableUpdate 实际成功更新的基础表数量

    expectComplexUpdate 期望的自助数据集数量

    actualComplexUpdate 实际成功的自助数据集数量

    expectRelationUpdate 期望的关联更新数量

    actualRelationUpdate 实际成功的关联数量

    extra1额外的字段1-
    extra2额外的字段2-
    extra3额外的字段3-
    time数据插入时间,swift表清理需要-

    4.3 BIUpdateTaskDetail

    更新任务明细表

    注:5.1.11 及之后版本的 FineBI 新增该表。

    字段含义备注
    planId任务实例唯一标识,每一次运行都不同-
    loadId明细标识,在一个更新任务中唯一-
    loadName明细信息的名字表为表名+包名,关联为关联的信息
    loadType明细类型

    1 基础表

    2 自助数据集

    3 关联

    updateType更新类型

    1 全量

    2 增量

    state更新状态

    1 更新中

    2 成功

    3 部分成功

    4 排队等待

    5 失败

    endTime数据更新结束时间-
    effectTime生效时间,真正可用-
    startTime更新开始时间-
    execption失败报错信息-
    failedSonId基础表导致的更新失败的表的ID集合-
    extra1额外的字段1-
    extra2额外的字段2-
    extra3额外的字段3-
    time数据插入时间,swift表清理需要-
    fatherFailedIds更新失败的父表的ID集合-
    tableId额外的字段-
    updateCount变化的行数,可能有增有减-
    errorCode错误代码-
    totalCount总行数-
    deleteCount增量减行数-
    writeTime写文件时间-
    etlFlow自助数据集的步骤-
    appendCount增量增行数-
    columns-
    jdbcTime数据获取时间-
    openTimesql执行时间-
    infos非报错信息(只有国际化的key值和参数)-

    4.4 consumepoint

    模板的性能情况,每日记录一次。

    字段含义备注
    id埋点 id 编号
    source埋点来源

    Original 类

    1 表示当前系统的

    0 表示插件的埋点

    -1表示没有定义来源

    time开始时间开始时间(时间戳格式)
    username操作者进行了转码处理
    finish结束时间FineReport 字段,BI 不适用
    consume耗时,单位 ms-
    memory
    内存大小,单位 byteFineReport 字段,BI 不适用
    title
    资源 id可以是模板id,分析表id,表id等
    text
    资源内容FineReport 字段,BI 不适用
    type
    操作类型FineReport 字段,BI 不适用
    comment资源备注FineReport 字段,BI 不适用
    body埋点具体信息-

    4.5 errorRecord

    记录系统中发生过的报错日志。

    字段含义
    tname出错的物理模板名字(reportlet下的完整路径)
    time出错记录时间
    displayName挂载到平台的目录名称(全路径),如果直接访问链接则为空
    platformDisplay

    是否在平台中显示(1为是,0为否)

    记录规则为:有记录到此表的错误日志,此字段记为1,反之此字段记为0

    username用户 ID(生成规则需和 excute 表中用户 ID 的生成规则保持一致)
    errorcode错误码
    trace错误路径

    4.6 execute

    模板使用情况,记录模板的执行明细。

    字段备注
    id主键
    tname物理模板名字(reportlet 下的完整路径)
    displayName挂载到平台的目录名称(全路径),如果直接访问链接则为空
    time记录的时间,到秒即可
    memory报表占用内存,单位 B
    type报表访问方式
    consume后台耗时
    sqlTimeSQL 执行耗时间
    userId用户 ID
    complete是否计算完成
    source链接访问/平台访问
    reportId模板 ID
    brower
    浏览器
    sessionID会话 ID,用于与性能埋点表中的前端渲染耗时相关埋点进行关联

    4.7 executesql

    记录 SQL 的执行记录明细。

    字段备注
    executeid执行表 ID
    dsname数据集的名称
    sqltimeSQL 执行时间,单位毫秒
    rows数据集规模,行
    columns数据集规模,列
    time执行时间,时间戳格式
    connection数据连接名
    connectionID数据连接标识 ID,用于与功能埋点表中的数据源连接相关埋点进行关联

    4.8 focusPoint

    记录功能点的使用情况,以及各种埋点信息。

    字段说明备注
    id功能点 id例如:FR-F4001
    source埋点来源

    功能点的类型

    embed 表示当前系统的

    plugin 表示插件的埋点

    undefined表示没有定义来源

    time时间使用该功能的时间点
    username用户名用户名ID
    title标题主要内容
    text
    内容功能点的主要信息
    body埋点具体信息

    埋点具体信息,一个 json 数据结构,根据不同的埋点里面存放不同的信息(次要信息,可能为空)

    4.9 gcRecord

    记录系统的 GC 信息。

    字段数据类型 & 单位备注
    gcStartTimelong timestampGC 开始时间
    gcTypeStringGC 类型
    gcCauseStringGC 的原因
    pidString进程pid
    nodeString用户命名的节点名,单机下记为空
    durationlong msGC 持续时间
    youngBeforeUsedlong KB年轻代 GC 前使用内存
    youngBeforeCommittedlong KB年轻代 GC 前申请内存
    youngAfterUsedlong KB年轻代 GC 后使用内存
    youngAfterCommittedlong KB年轻代 GC 后申请内存
    oldBeforeUsedlong KB老年代 GC 前使用内存
    oldBeforeCommittedlong KB老年代 GC 前申请内存
    oldAfterUsedlong KB老年代 GC 后使用内存
    oldAfterCommittedlong KB老年代 GC 后申请内存
    metaspaceBeforeUsedlong KBmetaspace GC 前使用内存
    metaspaceBeforeCommittedlong KBmetaspace GC 前申请内存
    metaspaceAfterUsedlong KBmetaspace GC 后使用内存
    metaspaceAfterCommittedlong KBmetaspace GC 后申请内存
    heapBeforeUsedlong KBGC 前堆使用内存
    heapBeforeCommittedlong KBGC 前堆申请内存
    heapAfterUsedlong KBGC 后堆使用内存
    heapAfterCommittedlong KBGC 后堆申请内存
    balancePromoterScoreint 分「分值的分」中止计算分值
    releasePromoterScore同上释放会话分值
    loadScore同上整体负载分值

    4.10 honeypot

    字段含义备注
    类型 (id)
    区分类别的父类ID
    参数 (param)
    记录备注信息,主要记录步骤的名称、状态、等内容
    时间 (time)时间
    用户名 (username)用户名经转码处理
    用户类型 (userType)
    -
    对象 (target)该步骤的操作对象,资源id;记录模板id,分析表id,表id等
    表转义名 (transferName)操作对象的转义名
    公司 ID (companyName)
    license中的公司ID
    项目名字 (projectName)license中的项目名称
    版本 (version)license中的版本号

    4.11 logpoint

    字段含义备注
    埋点类型编号区分类别的父类ID
    出现报错时间-
    错误代码具体的错误代码参考 错误代码

    4.12 package

    应用的基本信息,每个数据包里都包含这个,用于鉴别数据包的来源。

    字段含义
    appname应用名称
    appid应用 id
    time数据包时间,比如 2018-11-01(自动导出情况下:每日凌晨四点导出前一天的包,记为导出日期的前一日)
    version
    云端运维版本

    4.13 processLog

    记录云端运维任务运行相关的日志。

    字段含义
    time时间
    node节点
    process流程

    4.14 realTime

    应用的实时情况,每分钟记录一条。

    字段备注
    node节点名
    time记录时间,每分钟一条
    memory当前 jvm 内存情况
    cpuCPU 利用率
    sessionnum存活会话数
    onlinenum系统在线人数
    pid进程 pid
    templateRequest正在计算的模板请求数
    httpRequest总的正在处理的 http 请求数
    sessionRequest正在处理的带 SessionID 的请求数
    fineIOfineIO占用堆外内存大小,单位 KB
    NIONIO占用堆外内存大小,单位 KB
    bufferMemUse堆外使用总内存,directMem「nio」和mappedMem,单位 KB
    physicalMemUse物理内存已使用空间,单位 KB
    physicalMemFree物理内存空闲空间,单位 KB

    4.15 recordOperate

    管理日志表,即用户对模块进行操作的时候,将会在该表中添加一条记录,并在相应字段中填写其对应的信息记录。

    注:5.1.7 及之后版本的 FineBI 新增该表。


      字段

    备注

    type模块(存国际化的 key)
    item设置项
    operation操作
    username  用户名
    ip用户 IP 地址
    time用户操作时间


    4.16 recordWrite 填报表

    填报表:记录填报日志信息,即如果报表进行填报的时候,将会在该表中添加一条记录,并在相应字段中填写其对应的信息记录。

    注:5.1.7 及之后版本的 FineBI 新增该表。

    字段  

    备注

    username填报报表的用户
    tname  仪表板存放路径
    time填报时间
    result是否填报成功
    ip填报报表的IP地址
    displayName

    仪表板的实际名称,非「目录管理」中仪表板的名称

    如果直接访问链接则为空

    browser客户端访问报表所用的浏览器版本
    consume执行耗时,包括 SQL 执行时间,报表计算时间

    5. 其他说明

    若导出数据包时该日数据包已存在,则先将该日数据包删除后再导出,即进行覆盖操作。

    (例如 2019-03-02 日凌晨四点会导出 2019-03-01 日数据包。而在 2019-03-01 日用户进行过手动下载,已生成当日数据包,2019-03-02 日凌晨四点导出的数据包则会将之前生成的数据包覆盖)。

    附件列表


    主题: 管理员指南
    • 有帮助
    • 没帮助
    • 只是浏览

    售前咨询电话

    400-811-8890转1

    在线技术支持

    在线QQ:800049425

    热线电话:400-811-8890转2

    总裁办24H投诉

    热线电话:173-1278-1526

    文 档反 馈

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭