刪除「內存化過濾In條件個數」參數
刪除「開啓分頁計算」參數
刪除「分頁計算彙總多線程計算方式」參數
新增「明細表匯出併發線程數限制」參數
優化「資料訪問量」參數的設定範圍
FineBI 在系統管理裏提供了配置一些 BI 參數和調優參數的功能,方便系統管理和項目實施人員簡單快捷的瞭解當前系統配置,並在介面上進行快速設定。
管理員登入數據決策系統,進入「管理系統」>「系統管理」>「標準」,可以看到 BI 和 Spider 參數配置的頁面。如下圖所示:
注:其中「Spider 參數」適用於 抽取資料 版本參數,實時資料版本 BI 不適用。
修改後是否
需要重啓工程
1)無論是否開啓,有小數位數時字段始終被識別為數值型別
2)不開啓資料型別識別時,超過19位的識別為文本型別,小於等於19位的識別為數值型別
3)開啓資料型別識別後始終識別為數值型別,但識別資料後字段型別會被識別成 double,double本身支持的精度只有16-17位,所以當數值長度超過18位時就可能發生精度丟失的情況
4)在未開啓參數的情況下添加的表(直連和分佈式):
如果表沒被編輯過,開啓參數重啓後,進入表編輯介面可以獲取為數值字段型別,重新保存即可
如果表是被編輯過(515及以後是做過字段型別轉換)的,開啓參數重啓後,進入表編輯介面依然會是文本型別,不會再讀取為數值
資料訪問量限制了可讀入伺服器內存的資料列數。並非所有大資料量計算場景都會將所有資料讀入內存,FineBI Spider 引擎具有智能的內存使用策略
配置過低,將影響資料計算準確性
配置過高,系統有宕機風險。重啓後生效
建議保持預設值 1000000。建議設定區間:[10,000,1,000,000],最高可設定為10,000,000
設定控件綁定參數功能與過濾功能是否同時生效
預設關閉,表示不生效
是否使用中文排序
預設關閉,表示不使用中文排序
開啓後,抽取資料的表需要重新抽數
詳情參見:排序 1.4 節
單位:儲存格(列*欄)
預設值:空,即不限制
配置範圍:0-2,000,000,000
建議配置範圍:0-1,000,000,000
當多個使用者同時匯出資料量很大的 Excel 時,可能會超過併發數,影響使用者使用,因此提供該參數,可設定同時進行明細表匯出的使用者數。超過限制匯出,業務員需等待。
配置範圍:1-10
建議配置範圍:1-5,建議保持預設值
直連查詢超時時間(秒)
當儀表板中組件過多,組件查詢時間會過長,或者儀表板中某個組件查詢時間過長,匯致後續 BI 請求被阻塞,容易誤認為產品宕機。
此時可設定直連查詢超時時間,所有實時資料查詢超時之後將會中止查詢,防止異常慢查詢阻塞其他正常查詢。
組件返回如下報錯: 組件查詢時間超過Xmin,查詢中斷
單位:秒
預設值:180
建議配置範圍:10-300
生效範圍:BI直連除獲取表結構之外的所有查詢請求
Spider 參數包含基礎參數和高級調優參數,如下圖所示:
分析使用者自助資料集磁盤佔用大小(儲存格)參數隻影響 資料存放路徑 (預設%FineBI%/bin/ROOT 文件夾)下資料文件夾的磁盤佔用空間大小,伺服器磁盤空間 1T 以上可考慮修改,1T 以下保持預設配置即可。
修改後是否需要重啓工程
分析使用者自助資料集磁盤佔用大小
注:若修改過大會匯致磁盤佔滿,引起宕機。
快速分析生成過程中支持的最大儲存格數量,超出則生成失敗
詳情請參見: 自助資料集資料量限制 。
自助資料集單表更新是否跟隨父表更新
詳情請參見:自助資料集單表更新
抽取資料時,分片(壓縮&寫入)線程的數量
在內存很小(不超過4G)並且無法擴大內存的情況下,可以調小該線程,減輕內存壓力
抽取資料時,未處理的分片等待隊列長度
在內存很小(不超過4G)並且無法擴大內存的情況下,可以調小隊列長度,減輕內存壓力
spark日誌輸出等級,標準輸出流,輸出在 Tomcat 的 catalina.out 文件內或者 BI 的 nohup 文件內
可選項為:INFO、WARN、ERROR、DEBUG。
INFO:列印錯誤類和基本執行日誌
WARN:列印警告或提示類信息
ERROR:只列印錯誤類日誌
DEBUG:列印所有日誌
新增資料的抽數任務同時執行的線程數
在內存很小(不超過4G)並且無法擴大內存的情況下,可以調小該線程數,減輕內存壓力
Spark寫臨時文件的目錄,需給足一定的空間,修改至SSD掛載路徑可提升Spark處理關聯、SparkSql查詢的性能
注:集羣版該參數無效,需要在伺服器端配置
開啓後對於小資料量的計算性能提升明顯
在這個時間段內,增量更新任務不會執行合併操作,提升增量更新的速度
設定格式 hh:mm:ss-hh:mm:ss
示例 10:10:10-12:12:12