历史版本19 :自助数据集数据量限制 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

FineBI 版本
JAR 包
5.12020-01-15

1.2 应用场景

在使用 FineBI 时,可能出现因为用户不合理的操作影响其他用户使用或者系统性能稳定,此时就需要规避该问题。

1.3 功能简介

在制作自助数据集时,FineBI 提供了数据量限制,来规避此类风险,保证 FineBI 的正常使用。

2. 数据量限制说明编辑

数据类型
数据类型数据量限制操作类型限制量修改方式

抽取数据


数据分析性质自助数据集



数据更新

  • 单元格不超过 5 千万

       (可修改,参见:修改方式)

  • 数据行不能 1 千万

       (不可修改)

管理系统>常规>spider参数下修改分析用户自助数据集磁盘占用大小(单元格)参数
自助数据集编辑界面内存默认500M不支持修改

自助数据集编辑界面

左右合并、分组汇总

左右合并时合并的两表以及合并后表的数据都不能超过 1 千万行

分组汇总步骤的结果集不能超过 1 千万单元格

不支持修改
数据处理性质自助数据集没有数据限制量
\
实时数据所有

自助数据集编辑界面


内存默认500M

不支持修改

自助数据集编辑界面

左右合并、分组汇总

左右合并时合并的两表以及合并后表的数据都不能超过 1 千万行

分组汇总步骤的结果集不能超过 1 千万单元格

不支持修改

注:当用户使用的自助数据集超过数据量限制时,则会在前端页面给出提示,此时可以通过减少表的字段、过滤、分组汇总等方式减少数据量。

3. 数据量限制报错及解决方案编辑

3.1 自助数据集生成的行限制

3.1.1 问题现象

报错内容

错误代码:61300422

自助数据集生成行限制默认 1 千万,若超出了行限制,则更新失败,预览失败

注:只作用于抽取数据,实时数据不受限制。

例如设置生成行限制为 100 万,则预览报错如下图所示:

54.png

后台报错如下图所示:

23.png

48.png

3.1.2 解决方案

减少自助数据集需要更新的数据,如减少字段、继续对数据进行过滤,或者对数据进行分组汇总。

3.2 自助数据集生成的单元格限制

3.2.1 问题现象

报错内容
错误代码:61300421

自助数据集生成的单元格超出设置的大小,默认 5 千万,也就是可供配置的参数,若超出单元格则更新失败,预览失败

注:只作用于抽取数据,实时数据不受限制。

设置单元格限制为 100 万,则生成数据的时候报错,预览报错如下图所示:

754.png

后台报错如下图所示:

38.png

56.png

3.2.2 解决方案

  • 减少需要更新的数据,如减少字段、继续对数据进行过滤,或者对数据进行分组汇总。

  • 点击管理系统>系统管理>常规>Spider参数,修改分析用户自助数据集磁盘占用大小(单元格)参数,如下图所示:

    5.png

注:慎重使用第二、三种方法。

3.3 自助数据集的内存限制

报错内容作用范围

错误代码:61300424

您的自助数据集计算复杂占用过多内存,触发系统保护机制

 实时数据 、抽取数据

注:需要通过查看日志来判断内存占用大小。

3.3.1 在自助数据集进行计算前已检测到超出限制

比如设置了内存为 900000,行数有 120 万行,如果行超过内存限制,则预测会超限制,在计算之前就已经能够检测到超出了限制,不会实际消耗的内存。

预览界面报错如下图所示:

73.png

后台报错如下图所示:

373.png

3.3.2 自助数据集在计算过程中显示超出限制

在计算过程中显示超出了限制,那么后台日志会给出实际消耗的内存,预览界面报错如下图所示:

55.png

后台报错如下图所示:

47.png

注:对于抽取数据使用部分数据的时候,需要通过查看日志来判断内存占用大小,判断方法同上,假设内存设置的很小,那么有可能出现使用部分数据超出了限制,使用全部数据没有超限制的情况。

3.3.3 解决方案

  • 减少自助数据集步骤

  • 减少字段、不使用全部数据

  • 继续对数据进行过滤等。

3.4 左右合并 1 千万行限制

3.4.1 问题现象

报错内容
错误代码:61300423

这个参数只针对左右合并步骤,左右合并的结果超出 1 千万行会出现报错

注:实时数据和抽取数据都受限制。

例如:实际左右合并结果超出时的预览界面如下图所示:

94.png


后台报错如下图所示:

83.png

3.4.2 解决方案

减少所用表的数据量,如过滤之后在尝试合并。

3.5 分组汇总 1 千万单元格限制

3.5.1 问题现象

报错内容
错误代码:61300417

这个参数只针对分组汇总步骤,分组汇总结果超过 1 千万单元格则报错

注:实时数据和抽取数据都受限制。

实际分组汇总合并结果超出 1000 万单元格时的预览界面如下图所示:

665.png

后台报错如下图所示:

383.png

3.5.2 解决方案

减少该结果的数据量,如减少字段,过滤之后在尝试汇总。

4. 使用超限制的自助数据集做分析编辑

4.1 适用范围

实时数据

4.2 使用超限制的自助数据集制作自助数据集

4.2.1 问题现象

1)使用超限制的自助数据集做自助数据集,选字段之后,预览区域显示为「来源表超限制的提示」;

2)在 左右合并 弹窗中选择了超限制的表,预览区域显示为来源表超限制;

3)在 上下合并 时选择了超限制的表,那么预览区域显示的是详细的合并表超限制的信息。

4.2.2 解决方案

按照本文第 3 节内容调整自助数据集数据量。

4.3 使用超限制的自助数据集制作仪表板

4.3.1 问题现象

在仪表板处使用超限制的自助数据集,组件选择时可以选到,但是右侧预览区域显示为「来源表超限制的提示」。

4.3.2 解决方案

按照本文第 3 节内容调整自助数据集数据量。