1. 概述
1.1 背景
数据集的更新对业务使用和业务效率有较大影响。用户希望获取以下信息,便于更好的管理更新任务。
优化更新方案:更新方案是否合理,是否能够在更新策略、时间点等方面进行优化。
保证数据集的正常使用:更新任务是否正常执行,若出现异常状况,是否能够感知并了解异常原因,及时进行相应处理。
1.2 分析思路
1)优化更新方案
2)保证数据集的正常使用
1.3 数据获取
数据来源 | 表名 | 简介 | 获取途径 |
---|---|---|---|
内置服务器数据集 | __FR_BI_SERVER_SQL___更新任务日志 | 更新任务日志 | 「公共数据>功能数据>用户访问日志」文件夹下 |
__FR_BI_SERVER_SQL___更新信息日志 | 更新信息日志 | 「公共数据>功能数据>用户访问日志」文件夹下 | |
程序数据集 | 表的基础信息表 | - | BI系统配置数据集 |
2. 关键指标
把握关键指标,包括:基础表更新行数、基础表更新单元格数、自助数据集更新行数,自助数据集更新单元格数。
结合更新任务用时走势,整体评估更新任务的执行情况,是否出现异常趋势。
3. 更新分布分析
帮助用户了解更新任务的分布,包括:任务类型、数据集类型、策略以及时间点(仅展示更新任务执行次数前 10 的时间点),辅助用户更好的管理更新任务。
1)通过点击更新任务类型,可以联动查看该类型更新任务的时间点分布。
若单表更新多分布在工作时间,用户应尽量使用 全局更新 ,可设置一天一次,避开工作时间。
2)通过点击时间点,可以下钻查看该时间点上执行的更新任务名称(按执行次数降序展示),判断是否需要进行适当调整。
4. 更新耗时分析
按区间分类更新耗时,统计每类耗时的占比情况,整体评估 BI 系统中数据集的更新情况。
统计平均更新耗时最大的前 10 张数据表,用于对比排查更新耗时较大的数据表。
通过点击耗时占比,可以联动查看每类耗时下,平均更新耗时 Top 10 的数据集。
5. 更新报错分析
把握关键指标,包括实际更新数据集总数、报错率、实际/计划更新张数、报错张数,同时整体判断是否出现异常更新情况。
查看报错趋势,若数据集的报错率呈上升趋势,可以通过点击日期联动查看仪表板最下方的「更新任务&数据集明细」,查看报错内容,及时进行相应处理。
6. 更新任务&数据集明细
用户可以查看以下信息:
更新任务明细,包括:触发用户、触发方式、更新任务类型、完成状态等字段。
更新数据集明细,包括:触发用户、数据集类型、更新类型、更新状态、更新速度、报错内容等字段。
可以下拉选择数据集,查看相应明细,对失败率高的数据集进行排查,并对高频次更新的表做出更合理安排。若更新任务的完成状态为「部分成功」,可点击「部分成功」联动查看更新数据集明细,查看哪些数据集更新失败以及具体报错内容。