1. 概述
1.1 版本
FineBI 版本 | 功能變動 |
---|---|
5.1.0 | - |
5.1.5 | 刪除「內存化過濾In條件個數」參數 刪除「開啓分頁計算」參數 刪除「分頁計算彙總多線程計算方式」參數 |
5.1.6 | 新增「Excel匯出資料量限制」參數 新增「明細表匯出併發線程數限制」參數 |
5.1.11 | 新增「直連查詢超時時間(秒)」參數 |
5.1.12 | 刪除「優先使用 Spark SQL 計算去重記錄數」參數 |
5.1.14 | 新增「自助資料集預設更新設定」參數 |
5.1.18 | 刪除「緩存設定」和「緩存時間(秒)」參數,相關功能移動到「系統管理」>「緩存」介面,詳情請參見:緩存 優化「資料訪問量」參數的設定範圍 |
1.2 功能簡介
FineBI 在系統管理裏提供了配置一些 BI 參數和調優參數的功能,方便系統管理和項目實施人員簡單快捷的瞭解當前系統配置,並在介面上進行快速設定。
管理員登入數據決策系統,進入「管理系統」>「系統管理」>「標準」,可以看到 BI 和 Spider 參數配置的頁面。如下圖所示:
注:其中「Spider 參數」適用於 抽取資料 版本參數,實時資料版本 BI 不適用。
2. BI 參數
參數 | 定義 | 預設值 | 修改後是否 需要重啓工程 |
---|---|---|---|
資料型別識別 | 1)無論是否開啓,有小數位數時字段始終被識別為數值型別 2)不開啓資料型別識別時,超過19位的識別為文本型別,小於等於19位的識別為數值型別 3)開啓資料型別識別後始終識別為數值型別,但識別資料後字段型別會被識別成 double,double本身支持的精度只有16-17位,所以當數值長度超過18位時就可能發生精度丟失的情況 4)在未開啓參數的情況下添加的表(直連和分佈式):
| 關閉 | 是 |
資料訪問量 | 資料訪問量限制了可讀入伺服器內存的資料列數。並非所有大資料量計算場景都會將所有資料讀入內存,FineBI Spider 引擎具有智能的內存使用策略 配置過低,將影響資料計算準確性 配置過高,系統有宕機風險。重啓後生效 建議保持預設值 1000000。建議設定區間:[10,000,1,000,000],最高可設定為10,000,000 | 1000000 | 是 |
參數控件過濾生效 | 設定控件綁定參數功能與過濾功能是否同時生效 預設關閉,表示不生效 | 關閉 | 否 |
中文排序 | 是否使用中文排序 預設關閉,表示不使用中文排序 開啓後,抽取資料的表需要重新抽數 詳情參見:排序 1.4 節 | 關閉 | 是 |
多指標計算線程數 | 控制多指標計算時的線程數 | 20 | 是 |
Excel 匯出資料量限制 | 使用者匯出 Excel 時可能會超出資料量限制,提供該參數便於使用者設定,超過限制匯出將直接報錯 單位:儲存格(列*欄) 預設值:空,即不限制 配置範圍:0-2,000,000,000 建議配置範圍:0-1,000,000,000 | 空 | 否 |
明細表匯出併發線程數限制 | 當多個使用者同時匯出資料量很大的 Excel 時,可能會超過併發數,影響使用者使用,因此提供該參數,可設定同時進行明細表匯出的使用者數。超過限制匯出,業務員需等待。 配置範圍:1-10 建議配置範圍:1-5,建議保持預設值 | 3 | 是 |
直連查詢超時時間(秒) | 當儀表板中組件過多,組件查詢時間會過長,或者儀表板中某個組件查詢時間過長,匯致後續 BI 請求被阻塞,容易誤認為產品宕機。 此時可設定直連查詢超時時間,所有實時資料查詢超時之後將會中止查詢,防止異常慢查詢阻塞其他正常查詢。 組件返回如下報錯: 組件查詢時間超過Xmin,查詢中斷 單位:秒 預設值:180 建議配置範圍:10-300 生效範圍:BI直連除獲取表結構之外的所有查詢請求 | 180 | 否 |
3. Spider 參數
Spider 參數包含基礎參數和高級調優參數,如下圖所示:
3.1 基礎參數
分析使用者自助資料集磁盤佔用大小(儲存格)參數隻影響 資料存放路徑 (預設%FineBI%/bin/ROOT 文件夾)下資料文件夾的磁盤佔用空間大小,伺服器磁盤空間 1T 以上可考慮修改,1T 以下保持預設配置即可。
參數 | 定義 | 預設值 | 修改後是否需要重啓工程 |
---|---|---|---|
分析使用者自助資料集磁盤佔用大小 注:若修改過大會匯致磁盤佔滿,引起宕機。 | 快速分析生成過程中支持的最大儲存格數量,超出則生成失敗 詳情請參見: 自助資料集資料量限制 。 | 50,000,000 | 是 |
自助資料集預設更新設定 | 自助資料集單表更新是否跟隨父表更新 詳情請參見:自助資料集單表更新 | 跟隨父表更新 | 是 |
3.2 高級調優參數(常用)
參數 | 定義 | 預設值 | 修改後是否 需要重啓工程 |
---|---|---|---|
抽數壓縮線程數 | 抽取資料時,分片(壓縮&寫入)線程的數量 在內存很小(不超過4G)並且無法擴大內存的情況下,可以調小該線程,減輕內存壓力 | 8 | 是 |
抽數壓縮線程隊列大小 | 抽取資料時,未處理的分片等待隊列長度 在內存很小(不超過4G)並且無法擴大內存的情況下,可以調小隊列長度,減輕內存壓力 | 200 | 是 |
Spark日誌輸出等級 | spark日誌輸出等級,標準輸出流,輸出在 Tomcat 的 catalina.out 文件內或者 BI 的 nohup 文件內 可選項為:INFO、WARN、ERROR、DEBUG。
| INFO | 是 |
新增資料抽數任務執行線程數 | 新增資料的抽數任務同時執行的線程數 在內存很小(不超過4G)並且無法擴大內存的情況下,可以調小該線程數,減輕內存壓力 | 5 | 是 |
精簡模式日期 | 精簡模式開啓時,日期字段在進行資料抽取時,只提前生成少量分組型別,加快生成速度,減少佔用空間。未生成的分組在進行計算時可能會有性能損耗; | 關閉 | 是(且需重新更新資料) |
3.3 更多參數
參數 | 定義 | 預設值 | 修改後是否 需要重啓工程 |
---|---|---|---|
Spark Driver埠 | - | 17777 | 是 |
Spark blockManager埠 | - | 17778 | 是 |
Spark本地模式臨時文件路徑 | Spark寫臨時文件的目錄,需給足一定的空間,修改至SSD掛載路徑可提升Spark處理關聯、SparkSql查詢的性能 注:集羣版該參數無效,需要在伺服器端配置 | null (Linux下實際為/tmp) | 是 |
Spark動態調節功能 | Spark動態 根據計算資料量調節task的數目 開啓後對於小資料量的計算性能提升明顯 | 開啓 | 是 |
增量更新資料塊整理計劃 | 在這個時間段內,增量更新任務不會執行合併操作,提升增量更新的速度 設定格式 hh:mm:ss-hh:mm:ss 示例 10:10:10-12:12:12 | 關閉 | 是 |