1. 概述编辑
1.1 版本
| FineBI 版本 | JAR 包 |
|---|---|
| 5.1 | 2020-01-15 |
1.2 应用场景
在使用 FineBI 时，可能出现以下情况：
1）因为用户不合适的操作导致生成了非常大的数据，影响其他用户使用，甚至将磁盘空间占满；
2）因为某个用户不合适的操作导致制作自助数据集或者预览模板的时候占用内存非常大，影响其他用户使用，甚至导致系统宕机；
3）因为某个用户制作自助数据集或者预览模板时长时间占用 CPU，影响其他用户使用甚至导致系统卡死。
1.3 功能简介
因此在制作自助数据集时，FineBI 提供了数据量限制，来规避此类风险，保证 FineBI 的正常使用。
2. 数据量限制说明编辑
| 用户类型 | 数据类型 | 数据量限制操作类型 | 限制量 | 修改方式 |
|---|---|---|---|---|
| 数据分析用户 &数据处理用户（我的自助数据集业务包） | 抽取数据 | 数据更新 | 5kw单元格 | 管理系统>常规>spider参数下修改分析用户自助数据集磁盘占用大小（单元格）参数 |
| 1kw行 | 不支持在前端页面修改 | |||
| 自助数据集编辑界面 | 内存默认500M | 不支持在前端页面修改 | ||
自助数据集编辑界面 左右合并、分组汇总 | 左右合并时合并的两表以及合并后表的数据都不能超过1kw行 分组汇总步骤的结果集不能超过1kw单元格 | 不支持在前端页面修改 | ||
| 数据分析用户和数据处理用户 | 实时数据 | 自助数据集编辑界面 | 内存默认500M | 不支持在前端页面修改 |
自助数据集编辑界面 左右合并、分组汇总 | 左右合并时合并的两表以及合并后表的数据都不能超过1kw行 分组汇总步骤的结果集不能超过1kw单元格 | 不支持在前端页面修改 |
注：当用户使用的自助数据集超过数据量限制时，则会在前端页面给出提示，此时可以通过减少表的字段、过滤、分组汇总等方式减少数据量。
3. 数据量限制报错编辑
3.1 自助数据集生成的行限制
| 内容 | 解决方法 |
|---|---|
| 错误代码：61300422 | 您的自助数据集数据量超过xxx行的限制，无法成功更新，请减少需要更新的数据，如减少字段、继续对数据进行过滤，或者对数据进行分组汇总。 |
| 自助数据集生成行限制 默认1kw | 若超出了行限制，则更新失败，预览失败 |
注：只作用于抽取数据，实时数据不受限制。
例如设置生成行限制为 100w ，则预览报错如下图所示：
后台报错如下图所示：
3.2 自助数据集生成的单元格限制
| 内容 | 解决方法 |
|---|---|
| 错误代码：61300421 | 您的自助数据集已超过xxx数量单元格限制，无法成功更新，请减少需要更新的数据，如减少字段、继续对数据进行过滤，或者对数据进行分组汇总。 |
| 自助数据集生成的单元格超出设置的大小，默认5kw，也就是可供配置的参数 | 若超出单元格则更新失败，预览失败 |
注：只作用于抽取数据，实时数据不受限制。
3.2.1 问题现象
设置单元格限制为 100w，则生成数据的时候报错，预览报错如下图所示：
后台报错如下图所示：
3.2.2 解决思路
减少需要更新的数据，如减少字段、继续对数据进行过滤，或者对数据进行分组汇总。
点击管理系统>系统管理>常规>Spider参数，修改分析用户自助数据集磁盘占用大小（单元格）参数，如下图所示：
若无法减少数据量且用户类型属于数据分析用户，可将用户类型改为数据处理用户，详情参见：BI设计用户 ，然后另存数据集。
注：慎重使用第二、三种方法。
3.3 自助数据集的内存限制
| 内容 | 报错说明 | 解决方法 |
|---|---|---|
错误代码：61300424 | 您的自助数据集计算复杂占用过多内存，出发系统保护机制 | 减少自助数据集步骤，减少字段、继续对数据进行过滤等 |
注：实时数据和抽取数据都受限制。
需要通过查看日志来判断内存占用大小。
3.3.1 在自助数据集进行计算前已检测到超出限制
比如设置了内存为 900000，行数有 120w 行，如果行超过内存限制，则预测会超限制，在计算之前就已经能够检测到超出了限制，不会实际消耗的内存：
预览界面报错如下图所示：
后台报错如下图所示：
3.3.2 自助数据集在计算过程中显示超出限制
在计算过程中显示超出了限制，那么后台日志会给出实际消耗的内存，预览界面报错如下图所示：
后台报错如下图所示：
注：对于抽取数据使用部分数据的时候，需要通过查看日志来判断内存占用大小，判断方法同上，假设内存设置的很小，那么有可能出现使用部分数据超出了限制，使用全部数据没有超限制的情况。
3.4 左右合并 1kw 行限制
| 内容 | 解决方法 |
|---|---|
| 错误代码：61300423 这个参数只针对左右合并步骤，左右合并的结果超出1kw行会出现报错 | 您的左右合并表超过1000万行，请减少所用表的数据量，如过滤之后在尝试合并。 |
注：实时数据和抽取数据都受限制。
例如：实际左右合并结果超出时的预览界面如下图所示：
后台报错如下图所示：
3.5 分组汇总1kw单元格限制
| 内容 | 解决方法 |
|---|---|
| 错误代码：61300417 这个参数只针对分组汇总步骤，分组汇总结果超过1kw单元格则报错 | 您的分组汇总结果超过1000万单元格，请减少该结果的数据量，如减少字段，过滤之后在尝试汇总 |
注：实时数据和抽取数据都受限制。
实际分组汇总合并结果超出 1000 万单元格时的预览界面如下图所示：
后台报错如下图所示：
4. 使用超限制的自助数据集做分析编辑
注：只适用于实时数据、不抽取的数据。
4.1 使用超限制的自助数据集制作自助数据集
1）使用超限制的自助数据集做自助数据集，选表选字段，勾选了字段之后，预览区域显示为「来源表超限制的提示」；
2）在左右合并弹窗中选择了超限制的表，预览区域显示为来源表超限制；
3）在上下合并时选择了超限制的表，那么预览区域显示的是详细的合并表超限制的信息。
4.2 使用超限制的自助数据集做仪表板
1）在仪表板处使用超限制的自助数据集，组件选择时可以选到，但是右侧预览区域显示为「来源表超限制的提示」。