历史版本8 :BI工具 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

BI 服务器版本
功能变更
5.1.15-
5.1.16

1)「标红表」可检查系统中所有标红的表,可以快速对比升级前后、功能兼容前后的标红表数量,来判断升级效果,参见 3.3 节

2)「数据连接监控」新增「连接检测」功能,支持一键检测系统下全部数据连接,用来辅助排查升级前后、或驱动隔离前后的数据连接问题,参见9.1节

3)「磁盘空间管理」新增「监控设置」,在触发预警宕机风险时,提醒用户

5.1.17

1)「数据库表转SQL数据集」新增支持抽数类型的db表转换为SQL表

2)「分析结果导出」功能分散到各个分析项中,不统一导出。分析项包括:表占用空间、更新失败表、无需抽取表、抽取表列表、关联缓存、按用户显示表数量、标红表、数据连接中的表、仪表板公式、按表性质显示表数量、公式函数修复。

3)新增「工程文件克隆」功能

5.1.18

1)新增「冗余资源检测」功能

2)新增「实时表行数」功能

3)新增「表异常检查」功能

1.2 功能简介

本工具一般用于定位分析问题,提供部分快捷查询入口和自动分析功能。

注:该功能仅支持超级管理员使用。

2. 更新信息编辑

2.1 表占用空间

1)表占用空间

显示当前 BI 系统下,所有表在成功更新后所占用的磁盘空间一览。如下图所示:

2)关联缓存

2.2 更新错误信息

所有更新失败的表及其更新失败错误信息一览

2.3 定时更新残留

若版本升级后,数据表/业务包被删除了,仍有残留的定时更新任务,可通过该功能删除。

2.4 SQL性能监控

3. 表信息编辑

3.1 表数量

列举每个用户创建的各类(抽取、直连、基础表、自助分析)表数量,以及各类表数量分别汇总。

3.2 实时表行数

获取表行数并发量(此功能会消耗较多资源,请谨慎使用!)

3.3 标红表

1)按照抽取/直连类型、分组、业务包、表层级结构列举所有标红的自助数据集。

2)支持搜索标红表功能。

     按照抽取/直连数据类型分别展示搜索到的表所在路径的分组、业务包、表,层级默认展开。

     非搜索结果相关的分组、业务包页面上不展示。

字段
含义
作用
标红表数量统计列表中标红表的总数量直接对比升级前后标红表数量是否增加
数据列表标红数量统计数据列表中(即公共业务包内)标红表的数量看公共数据集里是否有标红,作为升级的重点排查内容
用户自助数据集标红数量统计用户自助数据集中(包括admin账号)的标红表的数量看个人自助数据集中是否有标红

3.4 数据连接中的表

数据连接中已选表按照其所在分组、业务包、表结构展示。

3.5 表异常检查

根据表名进行查询,实时计算目标表标红的功能。

  • 如果数据表标红,返回标红的详细信息

  • 如果数据表不标红,返回空

如果存在表名相同的情况,展示多个表。先展示表名(含路径),默认展开详细信息。可以展开、收起信息。

4. 检测编辑

4.1 脏数据

BI脏数据:不在业务包中的表、业务包中的无效表(仅剩id)、存在于多个业务包中的表、重复的业务包名称、无效的关联(有表无字段)。提供部分脏数据删除入口。 平台脏数据(外链文档)。

4.2 仪表板公式

检测出带明细计算公式的仪表板,避免出现严重性能问题。

4.3 表和仪表板的血缘分析

表被仪表板、自助数据集使用的血缘关系。

管理员在「BI工具」中的「仪表板的血缘分析」功能中,执行一下同步数据,logdb 中的 fine_relationship 表会出现相关内容,记录数据表仪表板的血缘关系数据

表类型包括:

  • database:db表

  • sql:sql表

  • server:服务器数据集

  • excel:excel表

  • analysis:自助数据集

  • confAnalysis:编辑过的基础表

4.4 系统活跃度

spider+直连混用表、异数据源关联、直连基础表添加操作步骤,这些使用场景可能是因为用户误操作,或者不理解底层逻辑而造成。当前虽没有影响实际使用,但该操作存在隐性系统风险,严重时可能引发系统宕机。提前检查出这些场景,并进行合理纠正,既能实现预期场景又能降低系统的使用风险。

4.5 日志分析

读取指定日志文件目录下的所有日志文件,分析日志中更新信息。

4.6 环境检测

环境检查功能,检测内容包括:系统环境信息、BI工程信息、jar包信息、工程目录文件、集群节点信息、抽取实时各类型表数量。

点击「开始环境扫描」按钮,即可导出所有环境信息,如下图所示:

4.7 公式函数修复

当前工程不合法的公式兼容为旧的函数

4.8 分析配置同步

4.9 冗余资源检测

检测系统中的冗余资源,对冗余资源处理后可以减轻系统压力。

4.9.1 无用资源监测

无用资源的定义如下:

  • 长期未使用仪表板:一段时间内访问次数等于0;其中一段时间可调整,最大360天,最小15天,默认取30天。

  • 长期未使用数据集:一段时间内编辑次数等于0;并且在血缘中它的所有子孙表、子孙仪表板均为“未使用”。其中一段时间可调整,最大360天,最小15天,默认取30天。

  • 持续报错数据集:当前数据集生成错误 且 最后一次更新成功时间早于一段时间之前。其中一段时间可调整,最大360天,最小15天,默认取30天。

用户可对抽取数据、直连数据、仪表板分别进行检测、查询。可根据创建者、无用类型、更新模式等条件进行筛选。可勾选相关表停止更新。

4.9.2 表权重检查

用户可手动输入数据表名,查询表权重信息,判断该表的影响范围。

5. 查询编辑

5.1 表名查询

表的原始名、转义名、文件名、ID之间互查(根据一个找其他)。

5.2 字段小类型

根据表名(转义)查询其字段的小类型。

5.3 数据库表引用查询

根据数据库中的表名称(包括具体sql语句),查询BI中使用该表的DB、SQL表信息 点击表名称,可查看详细SQL内容。

6. 实验室功能编辑

实验室功能暂不完全对外。

1)数据分析表转换

非自助数据集业务包中的数据分析性质的表展示,同时提供将此类表以及其父表,转换成数据处理性质的表。

2)数据库表转SQL数据集

5.1.17 之前版本的工程,直连类型的db表支持通过工具转换为SQL表

5.1.17 及之后版本的工程,直连和抽数类型的db表均可以转换为SQL表

7. 驱动文件查询编辑

提供视图化展示BI工程,web-inf/lib文件夹、以及web-inf/驱动隔离文件夹;支持搜索加载类路径

8. 服务器信息编辑

实时获取服务器相关信息,包括基本配置、JVM监控等。

9. 数据连接监控编辑

9.1 连接检测

「连接检测」功能,支持手动一键检测系统下全部数据连接,用来辅助排查升级前后、或驱动隔离前后的数据连接问题。

9.2 定时监控

定时检测数据连接是否处于连接成功状态。时间间隔支持设置,默认时间间隔为10分钟,10分钟即最小时间间隔。 检测范围:「数据连接管理」下的所有连接

10. 磁盘空间管理编辑

展示并监控磁盘使用趋势,判断磁盘使用的合理性;依此做为磁盘扩容方案的推荐; 占用磁盘的垃圾文件查询+清理

10.1 磁盘占用情况

检测root目录、db更新目录、temp目录的 可用量、总量、 当前单日磁盘增量

10.2 磁盘使用分析

检测root目录、db更新目录、temp目录的日磁盘增量,可根据历史增量情况判断磁盘扩容大小

10.2 垃圾文件检测

支持一键检测垃圾文件并勾选清理。

垃圾文件指:

  • 3天前的dummy表

  • 5天前的fanruan.log文件

  • 5天前的catalina.out文件

  • ".dump"文件

  • ".hprof"文件

10.3 磁盘性能

测试磁盘写入速度,并确认是否存在风险。

10.4 监控设置

支持自定义磁盘空间定时监控频率,默认 1 小时

支持设置 root 目录,db 更新目录和 temp 目录预警磁盘空间,若触发预警,则通过数据决策系统推送给管理员。

11. 工程文件克隆编辑

工程文件克隆是基于「管理系统-备份还原」功能中最近的备份文件,生成搭建测试工程时的必要文件。

如需web集群、邮箱、短信等配置请重新配置。

注:使用文件克隆功能前,必须确保「备份还原」中各项均存在备份文件,且日期均为同一天,否则无法克隆。

       使用文件克隆功能前,必须确保确保磁盘空间大于等于需要复制的文件大小+5G,,否则无法克隆。