历史版本4 :中位数或去重计数计算超出内存阈值 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 问题现象:

当数据分析用户添加自助数据集并进行求中位数/去重计数时,在自助数据集下方数据预览界面出现提示「中位数或去重计数计算超出内存阈值,请减少数据量或联系管理员处理」,如下图所示:

1564401871548444.png

1.2 原因分析:

数据量太大,导致报错。

  • 管理员可以让分析用户通过自身对数据的过滤/分组汇总/减少字段等方式减少数据量,避免该报错。

  • 如果使用的是 FineBI 5.1.2 之前的版本,管理员还可通过进入管理系统>系统管理>常规下,查看快速分析中位数/去重计数内存阈值大小,若该阈值大小不满足分析用户的计算数据量,则调整该值满足数据量大小。

注:5.1.2 版本不支持第二种解决办法

2. 解决方案编辑

2.1 减少数据量

若该自助数据集用户在后续数据分析时,用不到这么多数据,可提前在自助数据集中进行处理。在该报错步骤前,通过过滤、分组汇总、删除不必要字段等方式来减少数据量大小,具体操作数据分析用户可查看如下链接:

数据分析用户在添加上述步骤尝试减少数据量后,可以再次进入该步骤求中位数/去重计数来查看是否还有超出内存限制的报错。

2.2 快速分析中位数/去重计数内存阈值

1)数据分析用户上报该报错后,管理员进入管理系统>系统管理>常规,查看 Spider 参数下快速分析中位数/去重计数内存阈值的大小,如下图。该值大小代表了快速分析(数据分析自助数据集)时,每个线程合并计算的中位数/去重计数占用的最大内存比例的倒数。

1.png

比如BI内存为 8G,当前该值设置为 2000,则分配该计算的内存为 4M,可容纳 10 万同一分组内的不同值。因为当前提示数据量超出内存阈值,因此需要改小该值,分配更多的计算内存给快速分析中位数/去重计数。比如,我们将该值改为 200,则对应 8G 内存,分配40M 给快速分析中位数/去重计数,可容纳 100 万同一分组内的不同值。

1.png

2)保存并重启 FineBI后,该设置值生效。此时,数据分析用户可进入自助数据集,重新进行分组汇总等操作。