自助数据集数据量限制

1.1 版本

1.2 数据量限制原因

在使用 FineBI 时，可能出现因为用户不合理的操作影响其他用户使用或者系统性能稳定，此时就需要规避该问题。

在制作自助数据集时，FineBI 提供了数据量限制，来规避此类风险，保证 FineBI 的正常使用。

抽取状态下两种自助数据集的数据量限制：

自助数据集性质	数据量限制（抽数）
分析性质自助数据集	最大内存不能超过 500M 自助数据集的单元格不超过 5kw，但「5kw」这个值可以更改，详情请参见 3.2.2 节 自助数据集的数据行不能超过 1kw 左右合并时合并的两表以及合并后的表都不能超过 1kw 行 分组汇总步骤的结果集不能超过 1kw 单元格
处理性质的自助数据集	没有数据量限制

自助数据集性质	数据量限制（实时）
分析性质自助数据集	最大内存不能超过 500M 左右合并时合并的两表以及合并后的表都不能超过 1kw 行 分组汇总步骤的结果集不能超过 1kw 单元格
处理性质的自助数据集

注：当用户使用的自助数据集超过数据量限制时，则会在前端页面给出提示，此时可以通过减少表的字段、过滤、分组汇总等方式减少数据量。若用户使用的抽数数据且为处理用户的话，可以直接换用没有数据量限制的「处理性质自助数据集」。

3.1 自助数据集生成的行限制

3.1.1 问题现象

注：只作用于抽取数据，实时数据不受限制。

例如设置生成行限制为 100 万，则预览报错如下图所示：

后台报错如下图所示：

3.1.2 解决方案

减少自助数据集需要更新的数据，如减少字段、继续对数据进行过滤，或者对数据进行分组汇总。

3.2 自助数据集生成的单元格限制

3.2.1 问题现象

注：只作用于抽取数据，实时数据不受限制。

设置单元格限制为 100 万，则生成数据的时候报错，预览报错如下图所示：

后台报错如下图所示：

3.2.2 解决方案

• 减少需要更新的数据，如减少字段、继续对数据进行过滤，或者对数据进行分组汇总。

• 点击管理系统>系统管理>常规>Spider参数，修改分析用户自助数据集磁盘占用大小（单元格）参数，如下图所示：

  
  

注：慎重使用第二种方法。

3.3 自助数据集的内存限制

注：需要通过查看日志来判断内存占用大小。

3.3.1 在自助数据集进行计算前已检测到超出限制

比如设置了内存为 900000，行数有 120 万行，如果行超过内存限制，则预测会超限制，在计算之前就已经能够检测到超出了限制，不会实际消耗的内存。

预览界面报错如下图所示：

后台报错如下图所示：

3.3.2 自助数据集在计算过程中显示超出限制

在计算过程中显示超出了限制，那么后台日志会给出实际消耗的内存，预览界面报错如下图所示：

后台报错如下图所示：

注：对于抽取数据使用部分数据的时候，需要通过查看日志来判断内存占用大小，判断方法同上，假设内存设置的很小，那么有可能出现使用部分数据超出了限制，使用全部数据没有超限制的情况。

3.3.3 解决方案

• 减少自助数据集步骤

• 减少字段、不使用全部数据

• 继续对数据进行过滤等。

3.4 左右合并 1 千万行限制

3.4.1 问题现象

注：实时数据和抽取数据都受限制。

例如：实际左右合并结果超出时的预览界面如下图所示：

后台报错如下图所示：

3.4.2 解决方案

减少所用表的数据量，如过滤之后在尝试合并。

3.5 分组汇总 1 千万单元格限制

3.5.1 问题现象

注：实时数据和抽取数据都受限制。

实际分组汇总合并结果超出 1000 万单元格时的预览界面如下图所示：

后台报错如下图所示：

3.5.2 解决方案

减少该结果的数据量，如减少字段，过滤之后在尝试汇总。

4.1 适用范围

实时数据

4.2 使用超限制的自助数据集制作自助数据集

4.2.1 问题现象

1）使用超限制的自助数据集做自助数据集，选字段之后，预览区域显示为「来源表超限制的提示」。

2）在 左右合并 弹窗中选择了超限制的表，预览区域显示为来源表超限制。

3）在 上下合并 时选择了超限制的表，那么预览区域显示的是详细的合并表超限制的信息。

4.2.2 解决方案

按照本文第 3 节内容调整自助数据集数据量。

4.3 使用超限制的自助数据集制作仪表板

4.3.1 问题现象

在仪表板处使用超限制的自助数据集，组件选择时可以选到，但是右侧预览区域显示为「来源表超限制的提示」。

4.3.2 解决方案

按照本文第 3 节内容调整自助数据集数据量。