历史版本20 :fine_conf_entity可视化配置 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

BI 服务器版本
JAR 包fine_conf_entity可视化配置插件功能变更
5.12020-02-28
V1.0-
5.1.12-
V1.2新增支持修改相关参数
5.1.13-V1.4新增支持「自定义参数配置」
5.1.14-V1.5-
5.1.15-V1.6

1)新增支持「LDAP认证」参数配置

2)删除参数:SystemOptimizationConfig.ignoreBaseTableRedMarkCheck

5.1.16-V1.7新增支持「插件自动更新」参数配置

1.2 功能简介

平台中有些配置信息记录在 FineDB 的 fine_conf_entity 表中,只能通过修改表字段来进行更改。

用户可通过「fine_conf_entity可视化配置插件」安全地修改相关配置。

注:请勿使用该插件以外的方法修改 FineDB 文件,有可能造成不可修复的 BUG,需自行承担后果。

2. 示例编辑

2.1 插件安装

点击下载插件:fine_conf_entity可视化配置插件

插件安装方法请参照 插件管理

2.2 系统工具

插件安装成功后,超级管理员登录数据决策系统,点击「管理系统」,新增「系统工具」设置。如下图所示:

注:由于 FineDB 的修改非常重要,影响较大,因此仅支持超管进行操作,不支持次级管理员操作。

2.3 参数配置

配置方法支持以下两种:

  • 选择参数配置:系统参数名(key)下拉框中罗列了支持配置的 fine_conf_entity 参数,用户可直接在下拉框中选择参数,配置参数值(value)。

  • 自定义参数配置:用户可自行输入支持配置的 fine_conf_entity 参数名(key),并自动跳出参数值(value),用户可修改并保存参数值。

两种配置方式支持配置的参数完全相同,可修改的 fine_conf_entity 中的配置参数和参数值如下表所示:

V1.0 及以上版本插件均支持:

参数名
参数描述参数值
BackupConfig.customKeyLength备份conf表,自定义id长度

参数值需为正整型

默认值为1500

BackupConfig.customValueLength备份conf表,自定义value长度

参数值需为正整型

默认值为65536

CacheConfig.maxMemSize共享数据集缓存空间上限

参数值需为非负整型

默认值为4194304

ClusterTimeMonitorConfig.permitCount集群单次时间误差检测任务中, 多次误差分析中最小成功次数参数值需为正整型

默认值为1

ClusterTimeMonitorConfig.permitError集群单次时间误差检测任务中,,允许时间误差值,单位ms参数值需为正长整型

默认值为10000

ClusterTimeMonitorConfig.sumCount集群单次时间误差检测任务中, 尝试误差分析的总次数参数值需为正整型

默认值为3

ConfigVersion.versionOrdinal配置版本号默认值为当前版本号
CustomConfig.absPositionOfFloat悬浮元素是否以绝对位置展示(不受单元格扩展的影响)

参数值需为布尔型,默认为false

false:不以绝对位置展示(不受单元格扩展的影响)

true:以绝对位置展示(受单元格扩展的影响)

CustomConfig.columnMatchRuleForWidgetValue

数据字段是否区分大小写

参数值如下,默认为case_ignore

case_ignore:不区分大小写

case_sensitive:区分大小写

CustomConfig.dataTransType

定义填报提交,校验请求中前端模板数据的传输形式

参数值如下,默认为xml

xml:以xml字符串格式传输

json:以json字符串格式传输

CustomConfig.excelAdjustHeightExcel导出行高系数

参数值需为非负单精度浮点型

默认值为20.1

CustomConfig.excelAdjustWidthExcel导出列宽系数

参数值需为非负单精度浮点型

默认值为34.742

CustomConfig.exportFullImg4ExcelExcel导出的时候是否导出完整图片参数值需为布尔型,默认为false

false:Excel导出时,不导出完整图片

true:Excel导出时,导出完整图片

CustomConfig.printWidget是否导出/打印控件(目前支持打印复选框与复选框组控件)参数值需为布尔型,默认为false

false:不导出/打印控件

true:导出/打印控件

CustomConfig.screenScaleEnabled控制设计器缩放

参数值需为布尔型,默认为true

false:关闭设计器缩放

true:开启设计器缩放

CustomConfig.wordAdjustHeightWord导出用于调整行高的数值,防止内容高度在某些临界值时出现空白页

参数值需为非负整型

默认值为2

FSConfig.authorizeAttr.postAuthority按职位分配权限的开关

参数值需为布尔型,默认为false

false:关闭按职位分配权限

true:开启按职位分配权限

FSConfig.loginConfig.forceRedirectAfterLogin

登录后强制跳转至: 

http://ip:port/webroot/decision/

参数值需为布尔型,默认为false

false:登录后不强制跳转

true:登录后强制跳转

FileServerMonitorConfig.messageIntervalftp 异常消息通知频率,单位h参数值需为正长整型

默认值为1

FineFocusPointConfig.allowRecordFitInfo是否允许记录自适应埋点参数值需为布尔型,默认为true

false:不允许记录自适应埋点

true:允许记录自适应埋点

GcConfig.gcThreshold模板版本控制存储优化条件阀值,单位为文件个数

参数值需为非负整型

默认值为300

HotBackConf.master热备 master 节点配置主节点的 hostname
HotBackConf.slave备节点配置

注:2021-02-05 及之后的 JAR 才能配置该参数

备节点的 hostname
IntelliLogConfig.expired模板缓存失效时间参数值需为长整型

默认值为18000

IntelliReleaseConfig.defaultCellCount待杀会话格子数的默认基数参数值需为长整型

默认值为1000000

IntelliReleaseConfig.highInterruptAgainRate高负载时第二次释放超过(默认值格子数*此比例)的会话参数值需为非负双精度浮点型

默认值为0.6

IntelliReleaseConfig.highInterruptRate高负载时第一次释放超过(默认值格子数*此比例)的会话参数值需为非负双精度浮点型

默认值为0.8

IntelliReleaseConfig.highKillRate高负载第一次释放的会话比例超过此值不触发第二次参数值需为非负双精度浮点型

默认值为0.1

IntelliReleaseConfig.interruptRate待杀会话格子数的默认比例参数值需为非负双精度浮点型

默认值为0.3

IntelliReleaseConfig.jvmSupport当前版本jdk是否支持智能释放参数值需为布尔型,默认为true

false:当前版本jdk不支持智能释放

true:当前版本jdk支持智能释放

IntelliReleaseConfig.releaseSessionInteval释放触发的时间间隔参数值需为正整型

默认值为20

IntelliReleaseConfig.terribleInterruptAgainRate超高负载时第二次释放超过(默认值格子数*此比例)的会话

参数值需为非负双精度浮点型

默认为0.4

IntelliReleaseConfig.terribleInterruptRate超高负载时第一次释放超过(默认值格子数*此比例)的会话参数值需为非负双精度浮点型

默认为0.6

IntelliReleaseConfig.terribleKillRate超高负载第一次释放的会话比例超过此值不触发第二次参数值需为非负双精度浮点型

默认为0.2

IntelliReleaseConfig.waitInLineRate每个会话在高负载有此几率排队参数值需为双精度浮点型

默认为0.9

JarConsistenceConfig.messageIntervaljar不一致异常消息通知频率,单位h参数值需为正长整型

默认值为6

LoadConfig.majorExtremeTerribleThresholdmajorgc后,残留在老年代对象大小与老年代大小的比值超过这个值算是极限负载参数值需为非负双精度浮点型

默认为0.95

LoadConfig.majorHighThresholdmajorgc后,残留在老年代对象大小与老年代大小的比值超过这个值算是高负载参数值需为非负双精度浮点型

默认为0.7

LoadConfig.majorTerribleThresholdmajorgc后,残留在老年代对象大小与老年代大小的比值超过这个值算是超高负载参数值需为非负双精度浮点型

默认为0.85

LoadConfig.minorHighThresholdminorgc后,晋升到老年代的对象速率与eden区的比值大小超过这个值算是高负载参数值需为非负双精度浮点型

默认为0.04

LoadConfig.minorMidThresholdminorgc后,晋升到老年代的对象速率与eden区的比值大小超过这个值算是中等负载参数值需为非负双精度浮点型

默认为0.02

LoadConfig.minorTerribleThresholdminorgc后,晋升到老年代的对象速率与eden区的比值大小超过这个值算是超高负载参数值需为非负双精度浮点型

默认为0.06

MobileConfig.appMsgProxyApp 消息代理

参数值为非空字符串

默认值为__EMPTY__

代理服务器地址格式为:

http://ip:port/mobile/push/message/send

MobileConfig.disableEncryptPassword控制移动端登录的密码是否加密参数值需为布尔型,默认为false

false:移动端登录的密码不加密

true:移动端登录的密码加密

MobileConfig.persistedAttach是否在启动服务器的时候持久化定时调度图片

参数值需为布尔型

默认第一次启动为false,后为true

false:在启动服务器的时候持久化定时调度图片

true:在启动服务器的时候不持久化定时调度图片

MobileConfig.productPlan是否加入开发者计划参数值需为布尔型,默认为true

false:不加入开发者计划

true:加入开发者计划

MobileConfig.templateFetchTimeout模板超时时间参数值需为整型

默认值为-1

字段值小于等于 0 时,不限制请求超时

字段值大于 0 时,按照设置的时间生效

QuartzConfig.maxConnections定时调度模块最大连接数(2019年8月16之后版本支持)参数值需为正整型

默认值为50

QuartzConfig.threadCount定时调度模块最大线程数(2019年8月16之后版本支持)参数值需为正整型

默认值为100

RedisClusterConfig.maxConnectionRedis Cluster 连接池最大实例总数参数值需为正整型

默认值为200

RedisClusterMonitorConfig.messageIntervalRedis节点异常消息通知频率,单位h参数值需为正长整型

默认值为6

RedisConfig.databaseRedis 指定数据库参数值需为整型

默认值为0

RedisConfig.expireStateRemoveInterval状态服务器过期 key 删除间隔时间,单位ms参数值需为正整型

默认值为300000

RedisConfig.maxConnectionRedis连接池最大实例总数参数值需为正整型

默认值为200

RemoteDesignConfig.avoidTempAuthValid远程设计支持数字签名预览参数值需为布尔型,默认为true

false:远程设计不支持数字签名预览

true:远程设计支持数字签名预览

ScheduleSettingConfig.taskTimeout定时任务超过时间,默认5分钟参数值需为正长整型

默认值为300000

ScheduleSettingConfig.timeoutRemind定时调度任务是否开启监控日志超时提醒参数值需为布尔型,默认为false

false:定时调度任务不开启监控日志超时提醒

true:定时调度任务开启监控日志超时提醒

SecurityConfig.frontSeed用于给前端加密提供秘钥

参数值为16位大小写字母

初始是随机的16位大小写字母字符串,可自行修改

ServerConfig.cookiePath

cookie路径

注:请在部署工程时配置。否则会造成浏览器存储多个cookie,需要每个用户手动清除cookie才能登录成功

参数值需为非空字符串

初始值为/

ServerConfig.tokenFromCookie开启后后台校验token时可从cookie中取,解决httponly下后台单点和跨域单点登录失败的问题参数值需为布尔型,默认为false

false:后台校验token时不可从cookie中取

true:后台校验token时可从cookie中取

ServerPreferenceConfig.useOptimizedUPM配置是否开启新插件管理参数值需为布尔型,默认为false

false:不开启新插件管理

true:开启新插件管理

SystemConfig.hideVersion是否隐藏system info中的版本信息参数值需为布尔型,默认为false

false:不隐藏system info中的版本信息

true:隐藏system info中的版本信息

SystemConfig.serverInit平台是否初始化完成

参数值如下,默认为success

success:平台初始化完成

fail:平台初始化未完成

SystemOptimizationConfig.ClientMasterIdWeb 集群有数据的节点

参数值需为字符串

是 Web 集群,指定的数据请求,更新,有数据的那台机器的 Id

SystemOptimizationConfig.biClusterMasterNodeHostNameBI 集群的主节点的 hostname

参数值需为字符串

初始值为__EMPTY__

SystemOptimizationConfig.cacheHeap

缓存个数:除去关联维表缓存和分页缓存的其他缓存

参数值需为非负整型

默认不配置时,大数据集缓存100个,小数据集缓存10000个

设置成0,表示缓存个数无限制,修改后需要重启生效

SystemOptimizationConfig.cacheIdleSeconds缓存过期时间参数值需为正长整型

默认值为300

SystemOptimizationConfig.cacheLargeMemPercent大缓存池内存占比参数值需为非负双精度浮点型

默认为0.2

SystemOptimizationConfig.cacheMiddleMemPercent中缓存池内存占比参数值需为非负双精度浮点型

默认为0.05

SystemOptimizationConfig.cacheSmallMemPercent小缓存池内存占比参数值需为非负双精度浮点型

默认为0.01

SystemOptimizationConfig.cacheStrategy缓存策略

参数值需为字符串

默认为mem

SystemOptimizationConfig.chartBigDataNum限制大数据图表的数量参数值需为整型

默认值为3

SystemOptimizationConfig.chartDataThreadPoolNum图表线程池数量

1)5.1.11 之前版本:

参数值需为正整型

默认值为8

2)5.1.11 及之后版本:

参数值需为非负整型

默认值为8

0代表关闭线程池,关闭后,BI的线程栈将不会出现chart-group-data-pool开头的线程

直连时该参数无意义

SystemOptimizationConfig.confLockTimeOutTime配置锁超时时间设置,单位为秒

参数值需为正长整型

默认值为30

SystemOptimizationConfig.dashboardEditLimit仪表板编辑时的行数限制(不选中全部数据)参数值需为整型

默认值为10000

SystemOptimizationConfig.detailUseColumnarCompress明细表是否启用列压缩参数值需为布尔型,默认为true

false:明细表不启用列压缩

true:明细表启用列压缩

SystemOptimizationConfig.directMemoryEngineLimitRows直连新的内存引擎缓存数据的行数限制参数值需为整型

默认值为100000

SystemOptimizationConfig.directUseAllData直连全部数据是否可用,默认不可用参数值需为布尔型,默认为true

false:直连全部数据可用

true:直连全部数据不可用

SystemOptimizationConfig.excelExtractDataBaseExcel数据抽取
直连的关联可选表存在限制,如果系统参数为 Excel 数据抽取的话,Excel 表才可以配置关联
参数值需为布尔型,默认为false

false:直连的 Excel 表不可以配置关联

true:直连的 Excel 表可以配置关联

SystemOptimizationConfig.excelExtractMaxLimitRows直连excel生成临时表时的行数限制参数值需为整型

默认值为10000

SystemOptimizationConfig.fieldInfoTimeoutSeconds从数据源取字段信息的超时时间

参数值需为长整型

默认值为-1

SystemOptimizationConfig.firstDayofWeek每周的第一次是星期几参数值需为整型

默认值为0

SystemOptimizationConfig.groupUseColumnarCompress分组表是否启用列压缩参数值需为布尔型,默认为true

false:分组表不启用列压缩

true:分组表启用列压缩

SystemOptimizationConfig.inheritPermissionAndRelation设置权限继承默认开关状态参数值需为布尔型,默认为true

false:权限继承默认关闭

true:权限继承默认开启

SystemOptimizationConfig.memManagerPercent全局内存管理的大小占比参数值需为非负双精度浮点型

默认为0.6

SystemOptimizationConfig.memoryWarningSizesql数据集数据量告警值参数值需为整型

默认值为100000000

SystemOptimizationConfig.needTreatRedMark是否修复标红的自助数据集参数值需为布尔型,默认为false

false:不修复标红的自助数据集

true:修复标红的自助数据集

SystemOptimizationConfig.optimizeSqlAlias是否优化SQL别名(开启会把SQL中的别名全部重设一遍)参数值需为布尔型,默认为true

false:不优化SQL别名

true:优化SQL别名

SystemOptimizationConfig.queryConditionCountRestriction明细过滤条件个数限制参数值需为整型

默认值为-1

SystemOptimizationConfig.readRelationFromDbSource添加db表时,是否要读取数据库中的关联参数值需为布尔型,默认为true

false:添加db表时不读取数据库中的关联

true:添加db表时读取数据库中的关联

SystemOptimizationConfig.reportShareType模板分享是否使用创建者权限参数值为整型

默认值为0

SystemOptimizationConfig.schedulerMergeTimeSeconds多少秒进行一次定时任务的合并参数值需为整型

默认值为5

SystemOptimizationConfig.tableLoadThreadPoolNum更新线程数量参数值需为整型

默认值为20

SystemOptimizationConfig.threadPoolStrategy更新线程池策略
参数值如下,默认为dynamic

dynamic:根据内存来算,1G=1个线程
static:固定线程数量,和TableloadThreadPoolNum一起使用

SystemOptimizationConfig.treeCacheHeap树结构的缓存个数参数值需为整型

默认值为-1

SystemOptimizationConfig.treeCacheSeconds树结构的缓存时长参数值需为长整型

默认值为-1

SystemOptimizationConfig.useColumnarCompress分组表是否启用列压缩参数值需为布尔型,默认为true

false:分组表不启用列压缩

true:分组表启用列压缩

SystemOptimizationConfig.usePagingCache是否开启分页缓存参数值需为布尔型,默认为true

false:不开启分页缓存

true:开启分页缓存

TemplateAuthConfig.digitalAuthAvailable模板认证-数字签名功能是否可使用

5.1.11 及之后版本的 BI 工程支持该参数

参数值如下,默认为true

false:管理员无法使用模板认证-数字签名功能

true:管理员可使用模板认证-数字签名功能

WebSecurityConfig.cacheControlExpiresHeader浏览器缓存禁用header expires的值

参数值如下,默认值为0

0:代表着过去的日期,即该资源已经过期

<http-date>:在指定日期后,响应过期

WebSecurityConfig.cacheControlHeader浏览器缓存禁用header cache-control的值

参数值如下,默认值为no-cache

no-cache:在发布缓存副本之前,强制要求缓存把请求提交给原始服务器进行验证(协商缓存验证)

max-age=<seconds>:设置缓存存储的最大周期,超过这个时间缓存被认为过期(单位秒)

WebSecurityConfig.cacheControlPragmaHeader浏览器缓存禁用header pragma的值参数值为no-cache
WebSecurityConfig.contentSecurityPolicyHeadercsp内容安全策略header content-security-policy的值

参数值如下,默认值为object-src 'self'

1)object-src 'self':

限制<object>、<embed>、<applet>标签的源地址

且仅允许与当前来源(而不是其子域)匹配

2)object-src uri

限制<object>、<embed>、<applet>标签的源地址
且上述标签中地址仅指定URL允许加载

3)default-src https:

禁用不安全的内联/动态执行, 只允许通过 https加载这些资源 (images, fonts, scripts, etc.)

WebSecurityConfig.contentTypeOptionsHeader内容嗅探攻击防护header x-content-type-options的值参数值为nosniff
WebSecurityConfig.fileInspectorType开启了安全管理的文件校验后,用此配置文件上传校验类型

参数值如下,默认为1

0:综合,后缀不在白名单内放行,否则校验头

1:白名单,后缀在白名单且头匹配的才放行

2:黑名单,后缀不在黑名单内放行

WebSecurityConfig.frameOptionsHeader点击劫持攻击防护header x-frame-options的值

参数值如下,默认值为SAMEORIGIN

DENY:浏览器会拒绝当前页面加载任何frame页面
SAMEORIGIN:frame页面的地址只能为同源域名下的页面
ALLOW-FROM origin:允许frame加载的页面地址

WebSecurityConfig.hstsHeaderhsts header strict-transport-security的值

参数值为如下,默认值为max-age=31536000; includeSubDomains

1)max-age=<expire-time>:

设置在浏览器收到这个请求后的XXX秒的时间内凡是访问这个域名下的请求都使用HTTPS请求

2)max-age=<expire-time>; includeSubDomains:

设置在浏览器收到这个请求后的XXX秒的时间内凡是访问这个域名下的请求都使用HTTPS请求。此规则也适用于该网站的所有子域名

3)max-age=<expire-time>; preload:

设置在浏览器收到这个请求后的XXX秒的时间内凡是访问这个域名下的请求都使用HTTPS请求。预加载HSTS

WebSecurityConfig.loginValidateStrict用于限制跨域登录接口,以及cas后台登录接口的使用,如果配置true,则不能使用这俩接口参数值需为布尔型,默认为false

false:不限制跨域登录接口和cas后台登录接口的使用

true:限制跨域登录接口和cas后台登录接口的使用

WebSecurityConfig.xssProtectionHeaderxss攻击防护header x-xss-protection的值

参数值如下,默认值为1; mode=block

0:禁止XSS过滤

1:启用XSS过滤,如果检测到跨站脚本攻击,浏览器将清除页面,删除不安全的部分

1; mode=block:启用XSS过滤,如果检测到攻击,浏览器将不会清除页面,而是阻止页面加载

1; report=<reporting-uri>:

启用XSS过滤如果检测到跨站脚本攻击,浏览器将清除页面,并使用CSP reporting-uri的功能发送违规报告

WebSocketConfig.portwebsocket服务器监听端口

参数值为端口数组["port1","port2"]

port均属于区间(1024,65535]

默认值为["38888","39888"]

WebSocketConfig.trustStore信任证书的文件存放路径

参数值为非空字符串,尽量使用绝对路径

默认值为__EMPTY__

WebSocketConfig.trustStoreFormat信任证书的类型

参数值为JKS或PKCS12

如果是pfx证书,改成PKCS12

默认值为JKS

WebSocketConfig.trustStorePassword信任证书使用时的申请秘钥参数值为非空字符串,尽量使用绝对路径

默认值为__EMPTY__










V1.2 及以上版本插件新增支持:

参数名
参数描述参数值
ClusterRedirectConfig.enableSessionIDGenerationStrategy是否启用集群下的sessionID生成策略

参数值需为布尔型,默认为false

false:不启用集群下的sessionID生成策略

true:集群下的sessionID的尾部会拼接上集群的nodeID

FineClusterConfig.params.encrypt集群通信加密开关,默认为false参数值需为布尔型,默认为false

false:集群通信不加密

true:集群通信加密

FineClusterConfig.params.ipStackType集群通信方式参数值默认为ipv4, 可配置ipv6
Html5Config.isJoinProductPlanHTML5 允许关闭开发者计划,用户可以手动关闭是否加入产品改良计划,进一步的保护用户的隐私安全参数值需为布尔型,默认为true

false:关闭开发者计划

true:开启开发者计划

LanguageConfig.locale平台全局的语言设置

默认值为zh_CN

zh_CN:简体中文

zh_TW:繁体中文

en_US:英文

ja_JP:日文

ko_KR:韩文

MarketConfig.cloudOperationMaintenanceId重置云端运维应用ID参数值默认为您的云端运维应用ID
MobileConfig.emptyDirVisible控制在移动端(APP、HTML5)是否显示空目录参数值需为布尔型,默认为false

true:显示空目录

false:不显示空目录

ParseCheckConfig.allowDrawing当html解析报错时(各个导出场景遇到不支持的标签和属性),是否允许将html画成图参数值需为布尔型,默认为true

false:当html解析报错时,不允许将html画成图

true:当html解析报错时,允许将html画成图

ServerPreferenceConfig.errorTemplateFR模板报错页面,可参考帆软官方帮助文档,自定义模板报错页面

参数值为自定义报错页面链接

默认为__EMPTY__

SystemOptimizationConfig.clearEntityStrategy

获取自定义的finedb表清理策略

参数默认值为__EMPTY__

参数格式为:{策略序号}:{清理几月数据},{清理时间(时)},{清理时间(分)},{清理周期(秒)};

例如:
策略1,清理3月前数据,每2天执行一次,4点20分执行
策略2,清理1月前的数据,每30天执行一次,2点50执行。
则该参数为:1:3,4,20,172800;2:1,2,50,2592000

WebSocketConfig.hostNameWebsocket 监听 IP 设置

参数值为服务器内置网卡或对外 IP

默认为0.0.0.0

WebSocketConfig.webSocketTokenInHeadersocket 通信 token 传递方式

参数值需为布尔型,默认为false

true:token 从请求头传输

false:token 从 url 传输

WorkflowAuthorityConfig.compatible

多级上报的独立链接,首次登录时,页面会跳出弹窗提示:目录权限中有关于上报页面的权限配置,是否从目录权限中同步权限配置

该参数用于控制之后是否弹出提示

参数值需为布尔型,默认为false

true:不弹出

false:弹出

DistributedOptimizationConfig.spiderConfig.local_file_delete_retry_mode

本地文件删除重试机制

参数值需为布尔型,默认为true

true:本地文件删除重试机制

false:本地文件不删除重试机制

DistributedOptimizationConfig.spiderConfig.local_file_delete_retry_period

本地文件删除重试周期

参数值需为正整数,默认为10
DistributedOptimizationConfig.spiderConfig.local_file_delete_retry_time

本地文件删除重试次数

参数值需为正整数,默认为3
DistributedOptimizationConfig.spiderConfig.max_slice_memory_size

slice最大内存设置

参数值需为正整数,默认为52428800
DistributedOptimizationConfig.spiderConfig.spark_blockManager_port

spark blockManager端口

参数值需为[1001, 65535]区间内的正整数

默认值为17778

DistributedOptimizationConfig.spiderConfig.spark_driver_host

spark driver主机名

参数值需为字符串,默认为空
DistributedOptimizationConfig.spiderConfig.spark_driver_maxResultSize

spark返回driver端最大结果集大小

参数值需为字符串,默认为1g
DistributedOptimizationConfig.spiderConfig.spark_driver_port

spark driver端口

参数值需为[1001, 65535]区间内的正整数

默认值为17777

DistributedOptimizationConfig.spiderConfig.spark_executor_cores

spark executor核心

参数值需为正整数,默认为12
DistributedOptimizationConfig.spiderConfig.spark_executor_memory

spark executor内存

参数值需为字符串,默认为6g

DistributedOptimizationConfig.spiderConfig.spark_local_dir

spark临时文件目录,计算吐磁盘目录参数值需为字符串,默认为空
DistributedOptimizationConfig.spiderConfig.spark_master_host

spark master主机名

参数值需为字符串,默认为空
DistributedOptimizationConfig.spiderConfig.spark_master_port

spark master端口

参数值需为[1001, 65535]区间内的正整数

默认值为7077

DistributedOptimizationConfig.spiderConfig.spark_scheduler_allocation_filespark调度分配文件参数值需为字符串,默认为空
DistributedOptimizationConfig.spiderConfig.spark_scheduler_mode

spark调度模式

参数值需为字符串,默认为CAPACITY
DistributedOptimizationConfig.spiderConfig.spark_shuffle_service_enabled

shuffle过程数据外排

参数值需为布尔型,默认为true

true:shuffle过程数据外排

false:shuffle过程数据不外排

DistributedOptimizationConfig.spiderConfig.spark_sql_adaptive_enabled

计算自适应功能

参数值需为布尔型,默认为true

true:计算自适应功能

false:不计算自适应功能

DistributedOptimizationConfig.spiderConfig.spark_sql_adaptive_shuffle_targetPostShuffleInputSize

计算自适应目标块大小

参数值需为字符串,默认为200M
DistributedOptimizationConfig.spiderConfig.spark_sql_broadcastTimeout

broadcast的超时时间

参数值需为字符串,默认为12000
DistributedOptimizationConfig.spiderConfig.spark_sql_shuffle_partitions

spark shuffle的并发块数

参数值需为字符串,默认为空
DistributedOptimizationConfig.spiderConfig.spark_sql_sortMergeJoinExec_buffer_in_memory_threshold

sortMergeJoin算子内存最大数据量

参数值需为字符串,默认为100000
DistributedOptimizationConfig.spiderConfig.spark_sql_sortMergeJoinExec_buffer_spill_threshold

sortMergeJoin算子吞吐阈值

参数值需为字符串,默认为100000
DistributedOptimizationConfig.spiderConfig.spider_array_group_map_function_threshold

数组分组算法阈值

参数值需为正整数,默认为5000000
DistributedOptimizationConfig.spiderConfig.spider_base_update_thread_proportion

基础表线程占比

参数值需为正整数,默认为30
DistributedOptimizationConfig.spiderConfig.spider_build_field_index_cores

构建字段索引核心数

参数值需为正整数,默认为8
DistributedOptimizationConfig.spiderConfig.spider_build_index_cores

构建索引核心数

参数值需为正整数,默认为4
DistributedOptimizationConfig.spiderConfig.spider_column_max_load_dictionary_key_size

数据列最大载入字典数量

参数值需为正整数,默认为10000
DistributedOptimizationConfig.spiderConfig.spider_compress_slice_size

抽数时,每个分片的行数

参数值需为正整数,默认为100000
DistributedOptimizationConfig.spiderConfig.spider_core_limit_fraction

spark限制核心任务评分

参数值需为非负双精度浮点型

默认为0.67

DistributedOptimizationConfig.spiderConfig.spider_create_satellite_async

异步创建卫星表

参数值需为布尔型,默认为true

true:异步创建卫星表

false:异步不创建卫星表

DistributedOptimizationConfig.spiderConfig.spider_deletion_criteria_size_per_execution

增量删除每次最大计算大小

参数值需为字符串,默认为128m
DistributedOptimizationConfig.spiderConfig.spider_detail_formula_use_page

明细公式使用分页

参数值需为布尔型,默认为true

true:明细公式使用分页

false:明细公式不使用分页

DistributedOptimizationConfig.spiderConfig.spider_distinct_median_threshold

去重计数/中位数内存阈值

参数值需为正整数

5.1.12之前的版本,默认值为100

5.1.12及之后的版本,默认值为25

DistributedOptimizationConfig.spiderConfig.spider_double_dictionary_max_key_size

double类型最大字典数量

参数值需为正整数,默认为10000
DistributedOptimizationConfig.spiderConfig.spider_engine_use_page

使用分页引擎

参数值需为布尔型,默认为true

true:使用分页引擎

false:不使用分页引擎

DistributedOptimizationConfig.spiderConfig.spider_etl_coalesce_size

etl最大分块数

参数值需为正整数,默认为10
DistributedOptimizationConfig.spiderConfig.spider_etl_compute_limit_unit

etl计算单元格限制

参数值需为正整数,默认为50000000
DistributedOptimizationConfig.spiderConfig.spider_etl_core_limit

etl限制核心

参数值需为布尔型,默认为false

true:etl限制核心

false:etl不限制核心

DistributedOptimizationConfig.spiderConfig.spider_etl_iterator_repartition_size

etl重分区大小

参数值需为正整数,默认为20
DistributedOptimizationConfig.spiderConfig.spider_etl_no_order

etl无序

参数值需为布尔型,默认为false

true:etl无序

false:etl有序

DistributedOptimizationConfig.spiderConfig.spider_etl_output_use_bitmap

ETL生成索引

true

参数值需为布尔型,默认为true

true:ETL生成索引

false:ETL不生成索引

DistributedOptimizationConfig.spiderConfig.spider_etl_preview_row_count

etl预览行数

参数值需为字符串,默认为5000
DistributedOptimizationConfig.spiderConfig.spider_etl_writer_lock_wait

etl写锁等待时间

参数值需为大于等于-1的整数

默认为60000

DistributedOptimizationConfig.spiderConfig.spider_fast_compute_limit_memory

快速计算内存限制字节大小

参数值需为正长整型

默认为500000000

DistributedOptimizationConfig.spiderConfig.spider_fast_compute_limit_row

快速计算行数限制

参数值需为正整数,默认为10000000
DistributedOptimizationConfig.spiderConfig.spider_fast_compute_limit_unit

快速计算单元格限制

参数值需为正整数,默认为10000000
DistributedOptimizationConfig.spiderConfig.spider_fast_etl_cache

快速计算使用缓存

参数值需为布尔型,默认为true

true:快速计算使用缓存

false:快速计算不使用缓存

DistributedOptimizationConfig.spiderConfig.spider_file_max_mmap_size

文件最大mmap大小

参数值需为正整数,默认为2147483647
DistributedOptimizationConfig.spiderConfig.spider_file_mmap_size

文件mmap大小

参数值需为正整数,默认为1073741823
DistributedOptimizationConfig.spiderConfig.spider_first_day_of_week

星期的第一天

参数值需为[0, 6]区间内的整数

默认值为1

DistributedOptimizationConfig.spiderConfig.spider_float_dictionary_max_key_size

float类型最大字典数量

参数值需为正整数,默认为10000
DistributedOptimizationConfig.spiderConfig.spider_generate_join_cache_in_query

在查询时生成关联缓存

参数值需为布尔型,默认为true

true:在查询时生成关联缓存

false:在查询时不生成关联缓存

DistributedOptimizationConfig.spiderConfig.spider_high_performance_pool_size

不保证计算性能时,关联和分析表资源池大小

参数值需为正整数,默认为1000
DistributedOptimizationConfig.spiderConfig.spider_high_performance_resource_time

高性能资源占用时间

参数值需为字符串,默认为空
DistributedOptimizationConfig.spiderConfig.spider_ignore_base_update

是否跳过基础表更新

参数值需为布尔型,默认为false

true:跳过基础表更新

false:不跳过基础表更新

DistributedOptimizationConfig.spiderConfig.spider_index_build_bitmap_dataset

索引生成使用dataset

参数值需为布尔型,默认为false

true:索引生成使用dataset

false:索引不生成使用dataset

DistributedOptimizationConfig.spiderConfig.spider_index_build_bitmap_external

索引生成使用外排

参数值需为布尔型,默认为true

true:索引生成使用外排

false:索引不生成使用外排

DistributedOptimizationConfig.spiderConfig.spider_index_build_bitmap_external_buffer_path

索引缓存文件路径

参数值需为字符串

默认为distributed/external

DistributedOptimizationConfig.spiderConfig.spider_index_build_bitmap_external_buffer_size

索引缓冲大小

参数值需为正整数,默认为100000
DistributedOptimizationConfig.spiderConfig.spider_int_dictionary_max_key_size

int类型最大字典数量

参数值需为正整数,默认为10000
DistributedOptimizationConfig.spiderConfig.spider_int_distinct_structure

5.1.12 及之后的版本新增该参数

控制去重记录数的数据结构

参数值为指定值,默认值为0

0:表示数据结构为KolobokeIntSet,速度快但内存占用大(平均一个int key占用8字节)

1:表示数据结构为RoaringBitmap,速度慢但内存占用小(平均一个int key占用1字节)

DistributedOptimizationConfig.spiderConfig.spider_join_always_use_sql

关联始终使用SQL计算

参数值需为布尔型,默认为false

true:关联始终使用SQL计算

false:关联始终不使用SQL计算

DistributedOptimizationConfig.spiderConfig.spider_join_build_index

关联生成索引

参数值需为布尔型,默认为true

true:关联生成索引

false:关联不生成索引

DistributedOptimizationConfig.spiderConfig.spider_join_cache_delete_direct

关联缓存立刻删除

参数值需为布尔型,默认为true

true:关联缓存立刻删除

false:关联缓存不立刻删除

DistributedOptimizationConfig.spiderConfig.spider_join_dot_constant

关联点常量

参数值需为字符串,默认为.

DistributedOptimizationConfig.spiderConfig.spider_join_equal_constant

关联等号常量

参数值需为字符串,默认为=
DistributedOptimizationConfig.spiderConfig.spider_join_huge_table_size

关联大表大小

参数值需为非负整数,默认为0
DistributedOptimizationConfig.spiderConfig.spider_join_left_bracket_constant

关联左括号常量

参数值需为字符串,默认为(
DistributedOptimizationConfig.spiderConfig.spider_join_left_square_bracket_constant

关联左中括号常量

参数值需为字符串,默认为[
DistributedOptimizationConfig.spiderConfig.spider_join_name_simple

关联使用简单命名

参数值需为布尔型,默认为false

true:关联使用简单命名

false:关联不使用简单命名

DistributedOptimizationConfig.spiderConfig.spider_join_right_bracket_constant

关联右括号常量

参数值需为字符串,默认为)
DistributedOptimizationConfig.spiderConfig.spider_join_right_square_bracket_constant

关联右中括号常量

参数值需为字符串,默认为]
DistributedOptimizationConfig.spiderConfig.spider_join_use_relation

使用关联缓存

参数值需为布尔型,默认为true

true:使用关联缓存

false:不使用关联缓存

DistributedOptimizationConfig.spiderConfig.spider_load_data_buffer_queue_size

抽数的缓冲队列大小

参数值需为正整数,默认为100
DistributedOptimizationConfig.spiderConfig.spider_load_data_buffer_row_size

抽数的缓冲行大小

参数值需为正整数,默认为1000
DistributedOptimizationConfig.spiderConfig.spider_load_use_bitmap

抽数生成索引

参数值需为布尔型,默认为true

true:抽数生成索引

false:抽数不生成索引

DistributedOptimizationConfig.spiderConfig.spider_local_compute_cores本地计算核心数参数值需为正整数,默认为空
DistributedOptimizationConfig.spiderConfig.spider_local_default_db

数据默认DB

参数值需为字符串,默认为db
DistributedOptimizationConfig.spiderConfig.spider_local_root_path

数据抽取存放路径

参数值需为字符串,默认为../spider
DistributedOptimizationConfig.spiderConfig.spider_lock_wait_time

锁的默认等待时间

参数值需为正整数,默认为1000
DistributedOptimizationConfig.spiderConfig.spider_long_dictionary_max_key_size

long类型最大字典数量

参数值需为正整数,默认为10000
DistributedOptimizationConfig.spiderConfig.spider_low_performance_small_pool_size

保证计算性能时,关联生成资源池大小

参数值需为正整数,默认为4
DistributedOptimizationConfig.spiderConfig.spider_max_rowstream_memory_size

etl rowstream内存限制

参数值需为正整数,默认为52428800
DistributedOptimizationConfig.spiderConfig.spider_mem_filer_datamodel_ratio

过滤后内存评估比率

参数值需为非负双精度浮点型,默认为0.3

DistributedOptimizationConfig.spiderConfig.spider_memory_check_frequency_group

分组算法内存统计频率

参数值需为正整数,默认为100000
DistributedOptimizationConfig.spiderConfig.spider_merge_forbidden_time

合并禁止时间

参数值需为字符串,默认为空
DistributedOptimizationConfig.spiderConfig.spider_number_set_dictionary_max_key_size

数值类型字典编码是否设置最大字典数量

参数值需为布尔型,默认为false

true:设置最大字典数量

false:不设置最大字典数量

DistributedOptimizationConfig.spiderConfig.spider_page_summary_concurrent_threads

分页指标计算多线程

参数值需为布尔型,默认为空

true:分页指标计算多线程

false:分页指标不计算多线程

DistributedOptimizationConfig.spiderConfig.spider_partition_limitation

Partition行限制

参数值需为正整数,默认为1000
DistributedOptimizationConfig.spiderConfig.spider_partition_merge_policy

partition合并策略

参数值需为字符串,默认为空
DistributedOptimizationConfig.spiderConfig.spider_partition_row_size

分区行数

参数值需为正整数,默认为10000000
DistributedOptimizationConfig.spiderConfig.spider_partition_slice_size

分区抽数时,每个分片的行数

参数值需为正整数,默认为5000
DistributedOptimizationConfig.spiderConfig.spider_query_condition_count_restriction

引擎查询contition数量限制

参数值需为大于等于-1的整数

默认为-1

DistributedOptimizationConfig.spiderConfig.spider_reduce_row_key_ratio

reduce使用字典的比率

参数值需为非负双精度浮点型,默认为1.0

DistributedOptimizationConfig.spiderConfig.spider_relation_column_strategy

关联列的生成策略

参数值需为字符串,默认为SectionShrink
DistributedOptimizationConfig.spiderConfig.spider_relation_matcher_policy

关联匹配规则

参数值需为字符串,默认为HeadTail
DistributedOptimizationConfig.spiderConfig.spider_restrictions_column_long_text

最长本文限制

参数值需为正整数,默认为1000
DistributedOptimizationConfig.spiderConfig.spider_retry_max_times

重试最大次数

参数值需为正整数,默认为2
DistributedOptimizationConfig.spiderConfig.spider_row_index_strategy

分析表行索引优化

参数值需为布尔型,默认为false

true:分析表行索引优化

false:分析表行索引不优化

DistributedOptimizationConfig.spiderConfig.spider_satellite_creation_step

卫星表创建步长

参数值需为正整数,默认为10000000
DistributedOptimizationConfig.spiderConfig.spider_section_merge_large_section_count

section合并大块数量

参数值需为正整数,默认为6
DistributedOptimizationConfig.spiderConfig.spider_section_merge_policy

section合并策略

参数值需为字符串,默认为grouping
DistributedOptimizationConfig.spiderConfig.spider_section_merge_row_threshold_factor

section合并行数阈值

参数值需为正整数,默认为1000000
DistributedOptimizationConfig.spiderConfig.spider_section_merge_small_section_count

section合并小块数量

参数值需为正整数,默认为4
DistributedOptimizationConfig.spiderConfig.spider_spark_driver_use_random_port

spark driver使用随机端口

参数值需为布尔型,默认为false

true:spark driver使用随机端口

false:spark driver不使用随机端口

DistributedOptimizationConfig.spiderConfig.spider_spark_local_threads

spark本地线程数

参数值需为正整数,默认为空
DistributedOptimizationConfig.spiderConfig.spider_sparksql_filter_pushdown

sparkSQL过滤下推

参数值需为布尔型,默认为true

true:sparkSQL过滤下推

false:sparkSQL过滤不下推

DistributedOptimizationConfig.spiderConfig.spider_sql_merge_table

使用sql合并表

参数值需为布尔型,默认为true

true:使用sql合并表

false:不使用sql合并表

DistributedOptimizationConfig.spiderConfig.spider_stream_partition_estimated_byte

流式分区预估大小

参数值需为正整数,默认为2000000000
DistributedOptimizationConfig.spiderConfig.spider_submit_spark_thread_count

提交spark线程数

参数值需为正整数,默认为5
DistributedOptimizationConfig.spiderConfig.spider_table_estimate_strategy

估算表大小的方式

参数值需为字符串,默认为SAMPLE
DistributedOptimizationConfig.spiderConfig.spider_temp_folder_path_for_spark

spark临时文件路径

参数值需为字符串

默认为/root/temp/spark

DistributedOptimizationConfig.spiderConfig.spider_update_fast_compute_limit_cell

分析用户自助数据集磁盘占用大小

参数值需为正整数,默认为100000000
DistributedOptimizationConfig.spiderConfig.spider_updated_background

增量更新合并是否后台执行

参数值需为布尔型,默认为false

true:增量更新合并后台执行

false:增量更新合并不在后台执行

DistributedOptimizationConfig.spiderConfig.spider_updated_partition_num

触发合并的更新分区数

参数值需为正整数,默认为2
DistributedOptimizationConfig.spiderConfig.spider_use_fast_etl_local_optimize

快速计算使用本地优化

参数值需为布尔型,默认为false

true:快速计算使用本地优化

false:快速计算不使用本地优化

DistributedOptimizationConfig.spiderConfig.spider_use_pin_yin_sort使用中文拼音排序参数值需为布尔型,默认为false

true:使用中文拼音排序

false:不使用中文拼音排序

V1.6 及以上版本插件新增支持:

参数名
参数描述参数值
FSConfig.loginConfig.fWords

自定义配置LDAP认证用户名登录搜索字段

参数值格式为:["值1","值2"]

参数值不允许为空,参数长度不允许为0

参数默认值为["sAMAccountName","cn","userPrincipalName","uid","displayName","name","sn"]

V1.7 及以上版本插件新增支持:

参数名
参数描述参数值
UpdateConfig.launchSwitchMap.plugins插件自动更新的启动更新是否开启如需关闭工程启动后的插件自动更新,请将参数值修改为false,否则无需改动
CronUpdateConfig.typeMap.plugins插件自动更新的定时更新是否开启如需关闭工程启动后每晚11点的外网更新插件,请将参数值修改为false,否则无需改动
DelayUpdateConfig.delaySwitchMap.plugins插件自动更新的延迟更新是否开启如需关闭工程启动后延迟一段时间的插件自动更新,请将参数值修改为false,否则无需改动

V1.9 及以上版本插件新增支持:

参数名参数描述参数值
DistributedOptimizationConfig.spiderConfig.spider_high_performance_resource_time设置更新可占用高性能资源的时间段
如需设置晚七点-早八点,请将参数值修改为 19:00:00-8:00:00

2.4 重启服务器

按照参数规则修改配置后,点击「保存」,跳出提示框:您修改的参数在重启后生效,请重启服务器。

重启 BI 服务器后,配置生效。

image.png

注:若不按照 2.3 节的参数规则配置,参数值校验失败,将跳出提示框:配置项值校验不通过,保存失败。

image.png