BI/Spider参数

-

新增「BI参数」配置项「个人抽取空间」

1）小数位数处理规则

当字段包含小数位数时，无论是否开启数据类型识别，系统始终将其识别为数值类型。

2）未开启数据类型识别时的默认规则

• 数字位数 ≤15：自动识别为数值类型（整数或小数）

• 数字位数 >15：自动识别为文本类型（防止大整数精度丢失）

3）开启数据类型识别后的强制规则

• 所有数字字段强制识别为数值类型(double)

• 注意：double有效精度为15位(2^52)，所以当数字个数超过15位时就可能发生精度丢失的情况，开启后数据表需要重做。

4）在未开启数据类型识别的情况下添加的表

• 未编辑过的表：开启数据类型识别重启生效后，进入表编辑界面自动转为数值字段类型，保存生效。

• 已编辑过的表：开启数据类型识别重启生效后，进入表编辑界面依然会是文本类型，须手动修改。

功能说明：选择排序方式

• 关闭：表示关闭中文排序（默认值），所有数据按照 UTF-8 编码的字典进行排序，UTF-8 中汉字是按照康熙字典顺序进行排序

• 开启：表示开启中文排序，所有数据中的汉字按照拼音排序

功能修改建议：

1）FineBI7.0默认由运维平台部署，不建议在此处修改。

请通过「运维平台>维护>组件管理」功能，修改bi-engine-worker和bi-engine-master组件的「排序设置」，详情请参见：更改项目组件配置

2）请确保「运维平台>维护>组件管理」中bi-engine-worker和bi-engine-master组件的「排序设置」，与此处的「中文排序」设置完全一致。即：

• 此处关闭，运维平台中组件设置为bytes

• 此处开启，运维平台中组件设置为pinyin

数据解释功能生效逻辑：

• 关闭时：仅触发自定义配置的数据解释，不触发系统默认数据解释，以避免数据解释的滥用

• 开启时：自定义数据解释和系统默认数据解释均可触发

注：该功能依赖注册功能点「数据解释」，确保注册该功能点，方可使配置生效

spark日志输出等级，标准输出流，输出在 Tomcat 的 catalina.out 文件内或者 BI 的 nohup 文件内

可选项为：INFO、WARN、ERROR、DEBUG。

• INFO：打印错误类和基本执行日志

• WARN：打印警告或提示类信息

• ERROR：只打印错误类日志

• DEBUG：打印所有日志

单位：秒

默认值：空，代表不开启手动预览参数

配置参数后，所有组件请求数据查询时间超过设置的时长后，提示用户开启手动预览，但不强制为用户开启。降低对引擎的查询压力

参数无需重启，配置后即生效。

自助数据集单表更新是否跟随父表更新

详情请参见：自助数据集单表更新

在配置的时间段内不限制更新资源池核心数占用。

为不影响用户使用，建议配置到系统无人使用、更新任务频繁的时间段。

数据集被访问后的持续活跃周期

存在以下两种情况之一的数据集会被视为活跃：

• 数据集制作的仪表板/组件，在 x 天内被编辑或访问

• 数据集的子表是活跃表

单位：天

数据集被创建后的持续活跃周期

数据集在被创建的 x 天内被视为活跃，超出则视为不活跃

单位：天

数据集活跃状态判断的检查时间。

将在该时间统一检查数据集的访问、创建情况，刷新其活跃状态，从而将一部分数据集设置为不抽取。

可选项为：

    ● 固定时间检查：每天XXX点检查，设置格式 hh:mm:ss

    ● 全局更新定时任务前检查

固定时间检查

00:00:00

数据访问量限制了可读入服务器内存的数据行数。并非所有大数据量计算场景都会将所有数据读入内存，FineBI Spider 引擎具有智能的内存使用策略，例如：

• 执行过分组汇总后的数据行超过【设置值】，组件/仪表板中的计算会被打断。

• 左右合并中较小的数据表，它的关联字段分组后若超过【设置值】行数，组件/仪表板中的计算会被打断。
  

配置过低，将影响数据计算准确性。

配置过高，系统有宕机风险。

单位：行

可配置区间：[0，10000000]

建议设置区间：[10000，1000000]，建议保持默认值

限制每个主题层面的数据编辑过程中，实时处理的数据量，默认为 10000000。该参数无需重启即可生效。

可配置范围：[100000-10000000]

如需调整上限，可联系技术支持修改 finedb 中的配置文件

当仪表板中组件过多，组件查询时间会过长，或者仪表板中某个组件查询时间过长，导致后续 BI 请求被阻塞，容易误认为产品宕机。

此时可设置直连查询超时时间，所有实时数据查询超时之后将会中止查询，防止异常慢查询阻塞其他正常查询。

组件返回如下报错： 组件查询时间超过Xmin，查询中断

单位：秒

建议配置范围：10-300

生效范围：BI直连除获取表结构之外的所有查询请求

限制直连数据集血缘层数上限，防止生成的sql过于复杂，影响仪表板加载速度。

可配置范围：2-6

如需调整上限，可联系技术支持修改 finedb 中的配置文件

限制直连自助数据集中复杂计算步骤数，防止生成的sql过于复杂，计算时占用大量内存和CPU。

复杂计算步骤包括左右合并、从其他表添加列、新增汇总列、行转列、列转行。

可配置范围：0-2

如需调整上限，可联系技术支持修改finedb中的配置文件。

当仪表板中组件过多，组件查询时间会过长，或者仪表板中某个组件查询时间过长，导致后续 BI 请求被阻塞，容易误认为产品宕机。

此时可设置抽取查询超时时间，所有抽取数据查询超时之后将会中止查询，防止异常慢查询阻塞其他正常查询。

组件返回如下报错： 组件查询时间超过xxx，查询中断

单位：秒

建议配置范围：10-300

限制抽取数据集血缘层数上限，防止生成的sql过于复杂，影响仪表板加载速度；也可以防止数据集整体更新时长过长。

可配置范围：2-16

如需调整上限，可联系技术支持修改finedb中的配置文件。

限制公式中的DEF函数嵌套层数上限，防止生成的sql过于复杂，计算时间过长，影响仪表板加载速度。该参数无需重启即可生效。

可配置范围：0-4。

如需调整上限，可联系技术支持修改finedb中的配置文件。

单位字节

限制引擎单个查询任务占用的内存大小，防止单个任务占用过多内存导致宕机

该参数无需重启即可生效

限制单个数据集设置的定时更新频率，防止业务设置更新频率过高导致系统负载过高。

单位：分钟

限制除超管外的用户在「我的分析」中的抽取空间上限，防止单个用户无节制使用占用过多磁盘空间。

单位：MB

白名单配置说明：

• 支持搜索除超管外平台所有用户（不包括被删除的用户）的用户名，配置不同的抽取空间上限

例：一个公司的大部分员工配 100 MB 的抽取空间容量，部分高级分析师配 1 GB 的抽取空间容量，则在统一配置参数页面输入 100 ，在白名单配置 1024 。

• 白名单人数上限：100

• 已经添加到白名单中的用户如果在平台中被删除，白名单仍然生效

容量管理：

点击「容量管理」可查看用户的使用情况以及相关信息：

个人用户显示入口：

在「我的分析」左上角「数据空间容量」中点击查看

注：7.0.4之前版本用户默认值无限制，兼容历史设置的上限参数（参数为userExtractDataSpaceLimit）

1000 MB

7.0.4之前版本老用户默认为空（无限制）

用户导出 Excel 时可能会超出数据量限制，提供该参数便于用户设置，超过限制导出将直接报错

单位：单元格（行*列）

配置范围：0-2000000000

建议配置范围：0-1000000000

导出Excel时会进行磁盘空间检查，当磁盘空间小于限制值时，将中断导出行为。预防因磁盘占满导致宕机。

触发该限制后，导出失败，系统弹窗报错：当前导出数据量过大，磁盘空间不足。已触发系统保护机制，导出中断。请及时清理磁盘空间，受【Excel导出磁盘空间检查】参数限制，磁盘空间限制：XXG

配置范围：5~无限制

配置范围：1-10

建议配置范围：1-5，建议保持默认值