1. 概述
1.1 版本
BI 服务器版本 | 功能变更 |
---|---|
5.1.15 | - |
5.1.16 | 1)「标红表」可检查系统中所有标红的表,可以快速对比升级前后、功能兼容前后的标红表数量,来判断升级效果,参见 3.3 节 2)「数据连接监控」新增「连接检测」功能,支持一键检测系统下全部数据连接,用来辅助排查升级前后、或驱动隔离前后的数据连接问题,参见9.1节 3)「磁盘空间管理」新增「监控设置」,在触发预警宕机风险时,提醒用户 |
5.1.17 | 1)「数据库表转SQL数据集」新增支持抽数类型的db表转换为SQL表 2)「分析结果导出」功能分散到各个分析项中,不统一导出。分析项包括:表占用空间、更新失败表、无需抽取表、抽取表列表、关联缓存、按用户显示表数量、标红表、数据连接中的表、仪表板公式、按表性质显示表数量、公式函数修复。 3)新增「工程文件克隆」功能 |
5.1.18 | 1)新增「冗余资源检测」功能 2)新增「实时表行数」功能 3)新增「表异常检查」功能 |
1.2 功能简介
本工具一般用于定位分析问题,提供部分快捷查询入口和自动分析功能。
注:该功能仅支持超级管理员使用。
2. 更新信息
2.1 表占用空间
1)表占用空间
显示当前 BI 系统下,所有表在成功更新后所占用的磁盘空间一览。如下图所示:
2)关联缓存
2.2 更新错误信息
所有更新失败的表及其更新失败错误信息一览
2.3 定时更新残留
若版本升级后,数据表/业务包被删除了,仍有残留的定时更新任务,可通过该功能删除。
2.4 SQL性能监控
3. 表信息
3.1 表数量
列举每个用户创建的各类(抽取、直连、基础表、自助分析)表数量,以及各类表数量分别汇总。
3.2 实时表行数
获取表行数并发量(此功能会消耗较多资源,请谨慎使用!)
3.3 标红表
1)按照抽取/直连类型、分组、业务包、表层级结构列举所有标红的自助数据集。
2)支持搜索标红表功能。
按照抽取/直连数据类型分别展示搜索到的表所在路径的分组、业务包、表,层级默认展开。
非搜索结果相关的分组、业务包页面上不展示。
字段 | 含义 | 作用 |
---|---|---|
标红表数量 | 统计列表中标红表的总数量 | 直接对比升级前后标红表数量是否增加 |
数据列表标红数量 | 统计数据列表中(即公共业务包内)标红表的数量 | 看公共数据集里是否有标红,作为升级的重点排查内容 |
用户自助数据集标红数量 | 统计用户自助数据集中(包括admin账号)的标红表的数量 | 看个人自助数据集中是否有标红 |
3.4 数据连接中的表
数据连接中已选表按照其所在分组、业务包、表结构展示。
3.5 表异常检查
根据表名进行查询,实时计算目标表标红的功能。
如果数据表标红,返回标红的详细信息
如果数据表不标红,返回空
如果存在表名相同的情况,展示多个表。先展示表名(含路径),默认展开详细信息。可以展开、收起信息。
4. 检测
4.1 脏数据
BI脏数据:不在业务包中的表、业务包中的无效表(仅剩id)、存在于多个业务包中的表、重复的业务包名称、无效的关联(有表无字段)。提供部分脏数据删除入口。 平台脏数据(外链文档)。
4.2 仪表板公式
检测出带明细计算公式的仪表板,避免出现严重性能问题。
4.3 表和仪表板的血缘分析
表被仪表板、自助数据集使用的血缘关系。
4.4 系统活跃度
spider+直连混用表、异数据源关联、直连基础表添加操作步骤,这些使用场景可能是因为用户误操作,或者不理解底层逻辑而造成。当前虽没有影响实际使用,但该操作存在隐性系统风险,严重时可能引发系统宕机。提前检查出这些场景,并进行合理纠正,既能实现预期场景又能降低系统的使用风险。
4.5 日志分析
读取指定日志文件目录下的所有日志文件,分析日志中更新信息。
4.6 环境检测
环境检查功能,检测内容包括:系统环境信息、BI工程信息、jar包信息、工程目录文件、集群节点信息、抽取实时各类型表数量。
点击「开始环境扫描」按钮,即可导出所有环境信息,如下图所示:
4.7 公式函数修复
当前工程不合法的公式兼容为旧的函数
4.8 分析配置同步
4.9 冗余资源检测
检测系统中的冗余资源,对冗余资源处理后可以减轻系统压力。
4.9.1 无用资源监测
无用资源的定义如下:
长期未使用仪表板:一段时间内访问次数等于0;其中一段时间可调整,最大360天,最小15天,默认取30天。
长期未使用数据集:一段时间内编辑次数等于0;并且在血缘中它的所有子孙表、子孙仪表板均为“未使用”。其中一段时间可调整,最大360天,最小15天,默认取30天。
持续报错数据集:当前数据集生成错误 且 最后一次更新成功时间早于一段时间之前。其中一段时间可调整,最大360天,最小15天,默认取30天。
用户可对抽取数据、直连数据、仪表板分别进行检测、查询。可根据创建者、无用类型、更新模式等条件进行筛选。可勾选相关表停止更新。
4.9.2 表权重检查
用户可手动输入数据表名,查询表权重信息,判断该表的影响范围。
5. 查询
5.1 表名查询
表的原始名、转义名、文件名、ID之间互查(根据一个找其他)。
5.2 字段小类型
根据表名(转义)查询其字段的小类型。
5.3 数据库表引用查询
根据数据库中的表名称(包括具体sql语句),查询BI中使用该表的DB、SQL表信息 点击表名称,可查看详细SQL内容。
6. 实验室功能
实验室功能暂不完全对外。
1)数据分析表转换
非自助数据集业务包中的数据分析性质的表展示,同时提供将此类表以及其父表,转换成数据处理性质的表。
2)数据库表转SQL数据集
5.1.17 之前版本的工程,直连类型的db表支持通过工具转换为SQL表
5.1.17 及之后版本的工程,直连和抽数类型的db表均可以转换为SQL表
7. 驱动文件查询
提供视图化展示BI工程,web-inf/lib文件夹、以及web-inf/驱动隔离文件夹;支持搜索加载类路径
8. 服务器信息
实时获取服务器相关信息,包括基本配置、JVM监控等。
9. 数据连接监控
9.1 连接检测
「连接检测」功能,支持手动一键检测系统下全部数据连接,用来辅助排查升级前后、或驱动隔离前后的数据连接问题。
9.2 定时监控
定时检测数据连接是否处于连接成功状态。时间间隔支持设置,默认时间间隔为10分钟,10分钟即最小时间间隔。 检测范围:「数据连接管理」下的所有连接
10. 磁盘空间管理
展示并监控磁盘使用趋势,判断磁盘使用的合理性;依此做为磁盘扩容方案的推荐; 占用磁盘的垃圾文件查询+清理
10.1 磁盘占用情况
检测root目录、db更新目录、temp目录的 可用量、总量、 当前单日磁盘增量
10.2 磁盘使用分析
检测root目录、db更新目录、temp目录的日磁盘增量,可根据历史增量情况判断磁盘扩容大小
10.2 垃圾文件检测
支持一键检测垃圾文件并勾选清理。
垃圾文件指:
3天前的dummy表
5天前的fanruan.log文件
5天前的catalina.out文件
".dump"文件
".hprof"文件
10.3 磁盘性能
测试磁盘写入速度,并确认是否存在风险。
10.4 监控设置
支持自定义磁盘空间定时监控频率,默认 1 小时
支持设置 root 目录,db 更新目录和 temp 目录预警磁盘空间,若触发预警,则通过数据决策系统推送给管理员。
11. 工程文件克隆
工程文件克隆是基于「管理系统-备份还原」功能中最近的备份文件,生成搭建测试工程时的必要文件。
如需web集群、邮箱、短信等配置请重新配置。
注:使用文件克隆功能前,必须确保「备份还原」中各项均存在备份文件,且日期均为同一天,否则无法克隆。
使用文件克隆功能前,必须确保确保磁盘空间大于等于需要复制的文件大小+5G,,否则无法克隆。