1. 概述
1.1 版本
BI 服务器版本 | 功能变更 |
---|---|
5.1.15 | - |
5.1.16 | 1)「标红表」可检查系统中所有标红的表,可以快速对比升级前后、功能兼容前后的标红表数量,来判断升级效果,参见 3.3 节 2)「数据连接监控」新增「连接检测」功能,支持一键检测系统下全部数据连接,用来辅助排查升级前后、或驱动隔离前后的数据连接问题,参见9.1节 3)「磁盘空间管理」新增「监控设置」,在触发预警宕机风险时,提醒用户 |
5.1.17 | 1)「数据库表转SQL数据集」新增支持抽数类型的db表转换为SQL表 2)「分析结果导出」功能分散到各个分析项中,不统一导出。分析项包括:表占用空间、更新失败表、无需抽取表、抽取表列表、关联缓存、按用户显示表数量、标红表、数据连接中的表、仪表板公式、按表性质显示表数量、公式函数修复。 3)新增「工程文件克隆」功能 |
5.1.18 | 1)新增「冗余资源检测」功能 2)新增「实时表行数」功能 3)新增「表异常检查」功能 |
5.1.19 | 1)新增「直连/抽取数据集复制」功能 |
5.1.25 | 1)新增「启动信息查询」功能 |
5.1.27 | 1)「表占用空间」功能优化,支持导出数据,展示表路径 2)删除「更新错误信息」功能 3)删除「实时表」功能 4)新增「更新配置导出」功能 5)删除「分析配置同步」功能 6)新增「直连小工具」功能 |
1.2 功能简介
本工具一般用于定位分析问题,提供部分快捷查询入口和自动分析功能。
注:该功能仅支持超级管理员使用。
2. 更新信息
2.1 表占用空间
1)表占用空间
显示FineBI系统下,表更新成功后,所占用的磁盘空间和表路径,支持导出明细数据。如下图所示:
2)关联缓存
2.2 定时更新残留
若版本升级后,数据表/业务包被删除了,仍有残留的定时更新任务,可通过该功能删除。
2.3 SQL性能监控
3. 表信息
3.1 表数量
列举每个用户创建的各类(抽取、直连、基础表、自助分析)表数量,以及各类表数量分别汇总。
3.2 标红表
1)按照抽取/直连类型、分组、业务包、表层级结构列举所有标红的自助数据集。
2)支持搜索标红表功能。
按照抽取/直连数据类型分别展示搜索到的表所在路径的分组、业务包、表,层级默认展开。
非搜索结果相关的分组、业务包页面上不展示。
字段 | 含义 | 作用 |
---|---|---|
标红表数量 | 统计列表中标红表的总数量 | 直接对比升级前后标红表数量是否增加 |
数据列表标红数量 | 统计数据列表中(即公共业务包内)标红表的数量 | 看公共数据集里是否有标红,作为升级的重点排查内容 |
用户自助数据集标红数量 | 统计用户自助数据集中(包括admin账号)的标红表的数量 | 看个人自助数据集中是否有标红 |
3.3 数据连接中的表
数据连接中已选表按照其所在分组、业务包、表结构展示。
3.4 表异常检查
根据表名进行查询,实时计算目标表标红的功能。
如果数据表标红,返回标红的详细信息
如果数据表不标红,返回空
如果存在表名相同的情况,展示多个表。先展示表名(含路径),默认展开详细信息。可以展开、收起信息。
4. 检测
4.1 脏数据
检查抽取数据、抽取自助数据集、直连数据、FineBI仪表板、FineBI系统平台配置中的脏数据。
包括但不限于:不在业务包中的表、业务包中的无效表(仅剩id)、存在于多个业务包中的表、重复的业务包名称、无效的关联(有表无字段)
4.2 仪表板公式
检测出带明细计算公式的仪表板,避免出现严重性能问题。
4.3 表和仪表板的血缘分析
表被仪表板、自助数据集使用的血缘关系。
管理员在「BI工具」中的「仪表板的血缘分析」功能中,执行一下同步数据,logdb 中的 fine_relationship 表会出现相关内容,记录数据表仪表板的血缘关系数据。
表类型包括:
database:db表
sql:sql表
server:服务器数据集
excel:excel表
analysis:自助数据集
confAnalysis:编辑过的基础表
4.4 系统活跃度
spider+直连混用表、异数据源关联、直连基础表添加操作步骤,这些使用场景可能是因为用户误操作,或者不理解底层逻辑而造成。当前虽没有影响实际使用,但该操作存在隐性系统风险,严重时可能引发系统宕机。提前检查出这些场景,并进行合理纠正,既能实现预期场景又能降低系统的使用风险。
4.5 日志分析
读取指定日志文件目录下的所有日志文件,分析日志中更新信息。
4.6 环境检测
环境检查功能,检测内容包括:系统环境信息、BI工程信息、jar包信息、工程目录文件、集群节点信息、抽取实时各类型表数量。
点击「开始环境扫描」按钮,即可导出所有环境信息。
点击「使用情况检查」按钮,即可导出系统使用情况信息。
如下图所示:
4.7 公式函数修复
当前工程不合法的公式兼容为旧的函数
4.8 更新配置导出
点击「导出更新配置」,导出业务包/数据集更新配置,导出自助数据集和表的血缘分析信息。如下图所示:
4.9 启动信息查询
进入界面时,查询下spider、配置等是否正常启动。如下图所示:
如果启动异常,给出提示:当前系统spider、配置启动异常,将导致功能使用异常,请及时排查。技术支持联系方式:800049425
4.10 冗余资源检测
检测系统中的冗余资源,对冗余资源处理后可以减轻系统压力。
4.10.1 无用资源监测
无用资源的定义如下:
长期未使用仪表板:一段时间内访问次数等于0;其中一段时间可调整,最大360天,最小15天,默认取30天。
长期未使用数据集:一段时间内编辑次数等于0;并且在血缘中它的所有子孙表、子孙仪表板均为“未使用”。其中一段时间可调整,最大360天,最小15天,默认取30天。
持续报错数据集:当前数据集生成错误 且 最后一次更新成功时间早于一段时间之前。其中一段时间可调整,最大360天,最小15天,默认取30天。
用户可对抽取数据、直连数据、仪表板分别进行检测、查询。可根据创建者、无用类型、更新模式等条件进行筛选。可勾选相关表停止更新。
4.10.2 表权重检查
用户可手动输入数据表名,查询表权重信息,判断该表的影响范围。
5. 查询
5.1 表名查询
表的原始名、转义名、文件名、ID之间互查(根据一个找其他)。
5.2 字段小类型
根据表名(转义)查询其字段的小类型。
5.3 数据库表引用查询
根据数据库中的表名称(包括具体sql语句),查询BI中使用该表的DB、SQL表信息 点击表名称,可查看详细SQL内容。
6. 实验室功能
实验室功能暂不完全对外。
6.1 数据分析表转换
非自助数据集业务包中的数据分析性质的表展示,同时提供将此类表以及其父表,转换成数据处理性质的表。
6.2 数据库表转SQL数据集
5.1.17 之前版本的工程,直连类型的db表支持通过工具转换为SQL表
5.1.17 及之后版本的工程,直连和抽数类型的db表均可以转换为SQL表
6.3 直连/抽取数据集复制
5.1.23 及之后版本的工程,支持该功能。
手动匹配好基础表之后,支持将直连基础表下所有的自助数据集,复制到抽取基础表下;支持将抽取基础表下所有的自助数据集,复制到直连基础表下。
基础数据表包括:DB表、SQL数据表、EXCEL数据表,不包括自助数据集
复制功能使用前提:两个数据表中的字段名和字段类型能完全匹配,否则无法使用该功能。
复制后的数据表,完全继承原数据表的权限配置、路径配置、血缘关系。
若原数据表中使用了新数据表不支持的功能(例如直连不支持抽取的一些函数),仍可成功复制,但复制后的表标红,需要手动调整。
7. 驱动文件查询
提供视图化展示BI工程,web-inf/lib文件夹、以及web-inf/驱动隔离文件夹;支持搜索加载类路径
8. 服务器信息
实时获取服务器相关信息,包括基本配置、JVM监控等。
9. 数据连接监控
9.1 连接检测
「连接检测」功能,支持手动一键检测系统下全部数据连接,用来辅助排查升级前后、或驱动隔离前后的数据连接问题。
9.2 定时监控
定时检测数据连接是否处于连接成功状态。时间间隔支持设置,默认时间间隔为10分钟,10分钟即最小时间间隔。 检测范围:「数据连接管理」下的所有连接
10. 磁盘空间管理
展示并监控磁盘使用趋势,判断磁盘使用的合理性;依此做为磁盘扩容方案的推荐; 占用磁盘的垃圾文件查询+清理
10.1 磁盘占用情况
检测root目录、db更新目录、temp目录的 可用量、总量、 当前单日磁盘增量
10.2 磁盘使用分析
检测root目录、db更新目录、temp目录的日磁盘增量,可根据历史增量情况判断磁盘扩容大小
10.3 垃圾文件检测
支持一键检测垃圾文件并勾选清理。
垃圾文件指:
3天前的dummy表
5天前的fanruan.log文件
5天前的catalina.out文件
".dump"文件
".hprof"文件
10.4 磁盘性能
测试磁盘写入速度,并确认是否存在风险。
10.5 监控设置
支持自定义磁盘空间定时监控频率,默认 1 小时
支持设置 root 目录,db 更新目录和 temp 目录预警磁盘空间,若触发预警,则通过数据决策系统推送给管理员。
11. 工程文件克隆
工程文件克隆是基于「管理系统-备份还原」功能中最近的备份文件,生成搭建测试工程时的必要文件。
如需web集群、邮箱、短信等配置请重新配置。
注:使用文件克隆功能前,必须确保「备份还原」中各项均存在备份文件,且日期均为同一天,否则无法克隆。
使用文件克隆功能前,必须确保确保磁盘空间大于等于需要复制的文件大小+5G,,否则无法克隆。
12. 直连小工具
获取表行数并发量