历史版本3 :中位数或去重计数计算超出内存阈值 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1、描述编辑

问题现象:

  • 当数据分析用户添加自助数据集并进行求中位数/去重计数时,在自助数据集下方数据预览界面出现提示:"中位数或去重计数计算超出内存阈值,请减少数据量或联系管理员处理",如下图:

    1.png

操作简介:管理员在收到数据分析用户反馈后,可解决的操作包含两种:

  • 与分析用户确认数据量大小,让分析用户通过自身对数据的过滤/分组汇总/减少字段等方式减少数据量,避免该报错;

  • 与分析用户确定该表的数据量大小,并进入管理系统>系统管理>常规下,查看快速分析中位数/去重计数内存阈值大小,若该阈值大小不满足分析用户的计算数据量,则调整该值满足数据量大小;

适用人群:管理员;

2、管理员操作编辑

2.1 减少数据量

数据分析用户碰到此报错并上报后,管理员可联系并确认用户使用的数据和对应数据量,并进入管理系统>系统管理>常规>Spider参数下,查看快速分析中位数/去重计数内存阈值的大小,以确定分配该计算的内存支持的数据量。

若该自助数据集用户在后续数据分析时,用不到这么多数据,可提前在自助数据集中进行处理。在该报错步骤前,通过过滤、分组汇总、删除不必要字段等方式来减少数据量大小,具体操作数据分析用户可查看如下链接:

数据分析用户在添加上述步骤尝试减少数据量后,可以再次进入该步骤求中位数/去重计数来查看是否还有超出内存限制的报错。

2.2 快速分析中位数/去重计数内存阈值

数据分析用户上报该报错后,管理员进入管理系统>系统管理>常规,查看Spider参数下快速分析中位数/去重计数内存阈值的大小,如下图。该值大小代表了快速分析(数据分析自助数据集)时,每个线程合并计算的中位数/去重计数占用的最大内存比例的倒数。

1.png

比如BI内存为8G,当前该值设置为2000,则分配该计算的内存为4M,可容纳10万同一分组内的不同值。因为当前提示数据量超出内存阈值,因此需要改小该值,分配更多的计算内存给快速分析中位数/去重计数。比如,我们将该值改为200,则对应8G内存,分配40M给快速分析中位数/去重计数,可容纳100万同一分组内的不同值。

1.png

保存并重启FineBI后,该设置值生效。此时,数据分析用户可进入自助数据集,重新进行分组汇总等操作。