當前為5.1版本文檔,更多實例內容將在最新幫助文檔中展現,點選跳轉至 最新版幫助文檔

BI/Spider参数

1. 概述

1.1 版本

FineBI 版本功能變動
5.1.0-
5.1.5

刪除「內存化過濾In條件個數」參數

刪除「開啓分頁計算」參數

刪除「分頁計算彙總多線程計算方式」參數

5.1.6新增「Excel匯出資料量限制」參數

新增「明細表匯出併發線程數限制」參數

5.1.11新增「直連查詢超時時間(秒)」參數
5.1.12刪除「優先使用 Spark SQL 計算去重記錄數」參數
5.1.14新增「自助資料集預設更新設定」參數
5.1.18刪除「緩存設定」和「緩存時間(秒)」參數,相關功能移動到「系統管理」>「緩存」介面,詳情請參見:緩存

優化「資料訪問量」參數的設定範圍

1.2 功能簡介

FineBI 在系統管理裏提供了配置一些 BI 參數和調優參數的功能,方便系統管理和項目實施人員簡單快捷的瞭解當前系統配置,並在介面上進行快速設定。

管理員登入數據決策系統,進入「管理系統」>「系統管理」>「標準」,可以看到 BI 和 Spider 參數配置的頁面。如下圖所示:

1658712601424640.png

注:其中「Spider 參數」適用於 抽取資料 版本參數,實時資料版本 BI 不適用。 


2. BI 參數

參數定義預設值

修改後是否

需要重啓工程

資料型別識別

1)無論是否開啓,有小數位數時字段始終被識別為數值型別

2)不開啓資料型別識別時,超過19位的識別為文本型別,小於等於19位的識別為數值型別

3)開啓資料型別識別後始終識別為數值型別,但識別資料後字段型別會被識別成 double,double本身支持的精度只有16-17位,所以當數值長度超過18位時就可能發生精度丟失的情況

4)在未開啓參數的情況下添加的表(直連和分佈式):

  • 如果表沒被編輯過,開啓參數重啓後,進入表編輯介面可以獲取為數值字段型別,重新保存即可

  • 如果表是被編輯過(515及以後是做過字段型別轉換)的,開啓參數重啓後,進入表編輯介面依然會是文本型別,不會再讀取為數值

關閉
資料訪問量

資料訪問量限制了可讀入伺服器內存的資料列數。並非所有大資料量計算場景都會將所有資料讀入內存,FineBI Spider 引擎具有智能的內存使用策略

配置過低,將影響資料計算準確性

配置過高,系統有宕機風險。重啓後生效

建議保持預設值 1000000。建議設定區間:[10,000,1,000,000],最高可設定為10,000,000

1000000
參數控件過濾生效

設定控件綁定參數功能與過濾功能是否同時生效

預設關閉,表示不生效

關閉
中文排序

是否使用中文排序

預設關閉,表示不使用中文排序

開啓後,抽取資料的表需要重新抽數

詳情參見:排序 1.4 節

關閉
多指標計算線程數控制多指標計算時的線程數20
Excel 匯出資料量限制使用者匯出 Excel 時可能會超出資料量限制,提供該參數便於使用者設定,超過限制匯出將直接報錯

單位:儲存格(列*欄)

預設值:空,即不限制

配置範圍:0-2,000,000,000 

建議配置範圍:0-1,000,000,000 

明細表匯出併發線程數限制

當多個使用者同時匯出資料量很大的 Excel 時,可能會超過併發數,影響使用者使用,因此提供該參數,可設定同時進行明細表匯出的使用者數。超過限制匯出,業務員需等待。

配置範圍:1-10

建議配置範圍:1-5,建議保持預設值

3

直連查詢超時時間(秒)

當儀表板中組件過多,組件查詢時間會過長,或者儀表板中某個組件查詢時間過長,匯致後續 BI 請求被阻塞,容易誤認為產品宕機。

此時可設定直連查詢超時時間,所有實時資料查詢超時之後將會中止查詢,防止異常慢查詢阻塞其他正常查詢。

組件返回如下報錯: 組件查詢時間超過Xmin,查詢中斷

單位:秒

預設值:180

建議配置範圍:10-300

生效範圍:BI直連除獲取表結構之外的所有查詢請求

180


3. Spider 參數

Spider 參數包含基礎參數和高級調優參數,如下圖所示:

2.png

3.1 基礎參數

分析使用者自助資料集磁盤佔用大小(儲存格)參數隻影響 資料存放路徑 (預設%FineBI%/bin/ROOT 文件夾)下資料文件夾的磁盤佔用空間大小,伺服器磁盤空間 1T 以上可考慮修改,1T 以下保持預設配置即可。

參數定義預設值

修改後是否需要重啓工程

分析使用者自助資料集磁盤佔用大小

注:若修改過大會匯致磁盤佔滿,引起宕機。

快速分析生成過程中支持的最大儲存格數量,超出則生成失敗

詳情請參見:  自助資料集資料量限制 。

50,000,000
自助資料集預設更新設定

自助資料集單表更新是否跟隨父表更新

詳情請參見:自助資料集單表更新

跟隨父表更新

3.2 高級調優參數(常用)

參數
定義預設值

修改後是否

需要重啓工程

抽數壓縮線程數

抽取資料時,分片(壓縮&寫入)線程的數量

在內存很小(不超過4G)並且無法擴大內存的情況下,可以調小該線程,減輕內存壓力

8
抽數壓縮線程隊列大小

抽取資料時,未處理的分片等待隊列長度

在內存很小(不超過4G)並且無法擴大內存的情況下,可以調小隊列長度,減輕內存壓力

200
Spark日誌輸出等級

spark日誌輸出等級,標準輸出流,輸出在 Tomcat 的 catalina.out 文件內或者 BI 的 nohup 文件內

可選項為:INFO、WARN、ERROR、DEBUG。

  • INFO:列印錯誤類和基本執行日誌

  • WARN:列印警告或提示類信息

  • ERROR:只列印錯誤類日誌

  • DEBUG:列印所有日誌

INFO
新增資料抽數任務執行線程數

新增資料的抽數任務同時執行的線程數

在內存很小(不超過4G)並且無法擴大內存的情況下,可以調小該線程數,減輕內存壓力

5
精簡模式日期精簡模式開啓時,日期字段在進行資料抽取時,只提前生成少量分組型別,加快生成速度,減少佔用空間。未生成的分組在進行計算時可能會有性能損耗;關閉是(且需重新更新資料)

3.3 更多參數

參數
定義預設值

修改後是否

需要重啓工程

Spark Driver埠-17777
Spark blockManager埠-17778
Spark本地模式臨時文件路徑

Spark寫臨時文件的目錄,需給足一定的空間,修改至SSD掛載路徑可提升Spark處理關聯、SparkSql查詢的性能

注:集羣版該參數無效,需要在伺服器端配置

null (Linux下實際為/tmp)
Spark動態調節功能Spark動態 根據計算資料量調節task的數目

開啓後對於小資料量的計算性能提升明顯

開啓
增量更新資料塊整理計劃

在這個時間段內,增量更新任務不會執行合併操作,提升增量更新的速度

設定格式 hh:mm:ss-hh:mm:ss

示例 10:10:10-12:12:12

關閉

附件列表


主題: 管理员指南
已經是第一篇
已經是最後一篇
  • 有幫助
  • 沒幫助
  • 只是瀏覽
  • 评价文档,奖励 1 ~ 100 随机 F 豆!