BI/Spider参数

  • 文档创建者:doreen0813
  • 编辑次数:34次
  • 最近更新:Carly 于 2021-01-09
  • 1. 概述

    1.1 版本

    FineBI 版本JAR 包版本功能变动
    5.1.0--
    5.1.52020-08-03

    删除「内存化过滤In条件个数」参数

    删除「开启分页计算」参数

    删除「分页计算汇总多线程计算方式」参数

    5.1.62020-09-30

    新增「Excel导出数据量限制」参数

    新增「明细表导出并发线程数限制」参数

    1.2 功能简介

    FineBI 在系统管理里提供了配置一些 BI 参数和调优参数的功能,方便系统管理和项目实施人员简单快捷的了解当前系统配置,并在界面上进行快速设置。

    管理员登录数据决策系统,进入管理系统>系统管理>常规,可以看到 BI 和 Spider 参数配置的页面。如下图所示:

    image.png

    注:其中「Spider 参数」适用于 抽取数据 版本参数,实时数据版本 BI 不适用。 

    2. BI 参数

    参数定义默认值

    修改后是否

    需要重启工程

    数据类型识别

    1)有小数位数时始终识别为数值类型

    2)开启数据类型识别后始终识别为数值类型

    3)不开启数据类型识别时,超过19位的识别为文本类型,小于等于19位的识别为数值类型

    4)开启识别数据后字段类型会被识别成 double,double本身支持的精度只有16-17位,所以当数值长度超过18位时就可能发生精度丢失的情况

    5)在未开启参数的情况下添加的表(直连和分布式):

    • 如果表没被编辑过,开启参数重启后,进入表编辑界面可以获取为数值字段类型,重新保存即可

    • 如果表是被编辑过(515及以后是做过字段类型转换)的,开启参数重启后,进入表编辑界面依然会是文本类型,不会再读取为数值

    关闭
    数据访问量设置预览时访问数据库的数据量。这个参数会影响到缓存,更改时需谨慎,设置太大很容易将内存撑爆,需要根据自身内存大小适当调整; 详细可参考:当前表数据量超过最大可显示行数 。1000000
    缓存设置开启关闭缓存设置开启
    缓存时间(秒)

    缓存时间,单位秒

    建议设置区间:[60, 1,800],建议保持默认值 600

    配置过低,会降低重复访问相同数据时的性能表现

    配置过高,会降低访问数据的及时性

    600
    参数控件过滤生效

    设置控件绑定参数功能与过滤功能是否同时生效

    默认关闭,表示不生效

    关闭
    中文排序

    是否使用中文排序

    默认关闭,表示不使用中文排序

    开启后,抽取数据的表需要重新抽数

    详情参见:排序 1.4 节

    关闭
    多指标计算线程数控制多指标计算时的线程数20
    Excel 导出数据量限制

    用户导出 Excel 时可能会超出数据量限制,提供该参数便于用户设置,超过限制导出将直接报错

    单位:单元格(行*列)

    默认值:空,即不限制

    配置范围:0-2,000,000,000 

    建议配置范围:0-1,000,000,000 

    明细表导出并发线程数限制

    当多个用户同时导出数据量很大的 Excel 时,可能会超过并发数,影响用户使用,因此提供该参数,可设置同时进行明细表导出的用户数。超过限制导出,业务员需等待。

    配置范围:1-10

    建议配置范围:1-5,建议保持默认值

    3

    3. Spider 参数

    Spider 参数包含基础参数和高级调优参数,如下图所示:

    294.png

    3.1 基础参数

    分析用户自助数据集磁盘占用大小(单元格)参数只影响 数据存放路径 (默认%FineBI%/bin/ROOT 文件夹)下数据文件夹的磁盘占用空间大小,服务器磁盘空间 1T 以上可考虑修改,1T 以下保持默认配置即可。

    参数属性

    默认值50,000,000;
    参数说明

    快速分析生成过程中支持的最大单元格数量,超出则生成失败

    详情请参见:  自助数据集数据量限制 。

    修改后是否需要重启

    注:若修改过大会导致磁盘占满,引起宕机。

    3.2 高级调优参数(常用)

    参数
    定义默认值

    修改后是否

    需要重启工程

    抽数压缩线程数

    抽取数据时,分片(压缩&写入)线程的数量

    在内存很小(不超过4G)并且无法扩大内存的情况下,可以调小该线程,减轻内存压力

    8
    抽数压缩线程队列大小

    抽取数据时,未处理的分片等待队列长度

    在内存很小(不超过4G)并且无法扩大内存的情况下,可以调小队列长度,减轻内存压力

    200
    Spark日志输出等级

    spark日志输出等级,标准输出流,输出在 Tomcat 的 catalina.out 文件内或者 BI 的 nohup 文件内

    可选项为:INFO、WARN、ERROR、DEBUG。

    • INFO:打印错误类和基本执行日志

    • WARN:打印警告或提示类信息

    • ERROR:只打印错误类日志

    • DEBUG:打印所有日志

    INFO
    新增数据抽数任务执行线程数

    新增数据的抽数任务同时执行的线程数

    在内存很小(不超过4G)并且无法扩大内存的情况下,可以调小该线程数,减轻内存压力

    5
    精简模式日期精简模式开启时,日期字段在进行数据抽取时,只提前生成少量分组类型,加快生成速度,减少占用空间。未生成的分组在进行计算时可能会有性能损耗;关闭是(且需重新更新数据)

    3.3 更多参数

    参数
    定义默认值

    修改后是否

    需要重启工程

    Spark Driver端口
    17777
    Spark blockManager端口
    17778
    Spark本地模式临时文件路径

    Spark写临时文件的目录,需给足一定的空间,修改至SSD挂载路径可提升Spark处理关联、SparkSql查询的性能

    注:集群版该参数无效,需要在服务器端配置

    null (Linux下实际为/tmp)
    优先使用 Spark SQL 计算去重记录数

    是否优先使用SparkSQL计算去重记录数,一般默认不使用

    在数据量不超过 1000w,但是分组数依旧很大的情况下(会有内存溢出报错)可设置为true

    关闭
    Spark动态调节功能

    Spark动态 根据计算数据量调节task的数目

    开启后对于小数据量的计算性能提升明显

    开启
    增量更新数据块整理计划

    在这个时间段内,增量更新任务不会执行合并操作,提升增量更新的速度

    设置格式 hh:mm:ss-hh:mm:ss

    示例 10:10:10-12:12:12

    关闭

    附件列表


    主题: 管理员指南
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!