BI/Spider参数

1. 概述

1.1 版本

FineBI 版本功能變動
6.0-
6.0.2資料型別識別邏輯優化,對資料位數進行更準確的判斷
6.0.3

新增BI參數「智慧資料解譯」
新增BI參數「抽取查詢逾時時間」
「Spider參數」更名為「抽取參數」

6.0.41)新增參數
新增BI參數「Excel匯出剩餘磁碟空間」
新增抽取參數「更新高效能時間區間」
2)刪除參數
刪除抽取參數「Spark Driver埠」
刪除抽取參數「Spark blockManager埠」
刪除抽取參數「Spark動態調節功能」
3)參數分類優化,調整部分參數的分類
「明細表匯出並發執行緒數限制」、「多指標計算執行緒數」調整為BI參數-進階調優參數
「spark日誌匯出等級」、「精簡模式日期」調整為抽取參數-基礎參數
「spark本地模式臨時檔案路徑」、「增量更新資料塊整理計劃」調整為抽取參數-進階調優參數
6.0.5
BI參數「智慧資料解譯」預設關閉
6.0.8
1)「抽取參數」更名為「Spider參數」
2)新增參數
新增Spider參數「資料存取活躍週期(天)」
新增Spider參數「資料建立活躍週期(天)」
新增Spider參數「資料活躍度全局檢查時間」
3)刪除參數
刪除Spider參數「分析使用者自助資料集磁碟佔用大小(儲存格)」
6.0.9
1)增加不合理計算的限制,分組後、左右合併後資料量過大,那麼在組件/儀錶板中進行計算的時候會被打斷
2)刪除BI參數「多指標計算執行緒數」

1.2 功能简介

FineBI 在系統管理裏提供了配置一些 BI 參數和調優參數的功能,方便系統管理和專案實現人員簡單快捷的瞭解當前系統配置,並在介面上進行快速設定。
管理者登入FineBI系統,進入「管理系統>系統管理>標準」,可以看到 BI參數和抽取參數配置的頁面。如下圖所示:

页面 1.png

2. BI 參數

注:BI參數僅作用於FineBI功能,對FineReport無影響。

2.1 基礎參數

參數定義預設值

修改後是否需要重啓工程

資料型別識別

1)無論是否開啓,有小數位數時欄位始終被識別為數值型別
2)不開啓資料型別識別時,超過15位的識別為正文型別,小於等於15位的識別為數值型別
3)開啓資料型別識別後始終識別為數值型別(double),double有效精度為15位(2^52),所以當數值長度超過15位時就可能發生精度丟失的情況
4)在未開啓參數的情況下新增的表(直連和分佈式):

  • 如果表沒被編輯過,開啓參數重啓後,進入表編輯介面可以獲取為數值欄位型別,重新儲存即可。

  • 如果表是被編輯過(5.1.5及以後是做過欄位型別轉換)的,開啓參數重啓後,進入表編輯介面依然會是正文型別,不會再讀取為數值。


關閉
SQL參數元件過濾生效

元件綁定SQL參數功能與過濾功能是否同時生效
預設關閉,表示不生效

關閉
中文排序

是否使用中文排序
預設關閉,表示不使用中文排序
開啓後,抽取資料的表需要重新抽數
詳情參見:排序 1.4 節

關閉
資料存取量

資料存取量限制了可讀入伺服器記憶體的資料行數。並非所有大數據量計算場景都會將所有資料讀入記憶體,FineBI Spider 引擎具有智慧的記憶體使用策略,例如:

  • 執行過分組彙總後的資料行超過【設定值】,組件/儀錶板中的計算會被打斷。

  • 左右合併中較小的資料表,它的聯動欄位分組後若超過【設定值】行數,組件/儀錶板中的計算會被打斷。

配置過低,將影響資料計算準確性。
配置過高,系統有當機風險。
單位:行
可配置區間:[0,10000000]
建議設定區間:[10000,1000000],建議保持預設值

1000000
Excel 匯出資料量限制

使用者匯出 Excel 時可能會超出資料量限制,提供該參數便於使用者設定,超過限制匯出將直接報錯
單位:儲存格(行*列)
配置範圍:0-2000000000
建議配置範圍:0-1000000000

Excel 匯出剩餘磁碟空間(G)

匯出Excel時會進行磁碟空間檢查,當磁碟空間小於限制值時,將中斷匯出行為。預防因磁碟佔滿導緻當機。
觸發該限制後,匯出失敗,系統彈窗報錯:當前匯出資料量過大,磁碟空間不足。已觸發系統保護機制,匯出中斷。請及時清理磁碟空間,受【Excel匯出磁碟空間檢查】參數限制,磁碟空間限制:XXG
配置範圍:5~無限制

5

直連查詢逾時時間(秒)

當儀錶板中組件過多,組件查詢時間會過長,或者儀錶板中某個組件查詢時間過長,導緻後續 BI 請求被阻擋,容易誤認為産品當機。
此時可設定直連查詢逾時時間,所有實時資料查詢逾時之後將會中止查詢,防止異常慢查詢阻擋其他正常查詢。
組件傳回如下報錯: 組件查詢時間超過Xmin,查詢中斷
單位:秒
建議配置範圍:10-300
生效範圍:BI直連除獲取表結構之外的所有查詢請求

180
智慧資料解譯

控制組件在不進行主動配置時,是否能進行智慧資料解譯,預設關閉。
安裝資料解譯插件後此配置才生效。

關閉後,手動配置過的資料解譯才能觸發,以避免資料解譯的濫用 。

關閉
抽取查詢逾時時間(秒)

當儀錶板中組件過多,組件查詢時間會過長,或者儀錶板中某個組件查詢時間過長,導緻後續 BI 請求被阻擋,容易誤認為産品當機。
此時可設定抽取查詢逾時時間,所有抽取資料查詢逾時之後將會中止查詢,防止異常慢查詢阻擋其他正常查詢。
組件傳回如下報錯: 組件查詢時間超過xxx,查詢中斷
單位:秒

建議配置範圍:10-300

45

2.2 進階調優參數

參數定义預設值

修改後是否需要重啓工程

明細表匯出並發執行緒數限制

當多個使用者同時匯出資料量很大的 Excel 時,可能會超過並發數,影響使用者使用,因此提供該參數,可設定同時進行明細表匯出的使用者數。超過限制匯出,業務員需等待。
配置範圍:1-10
建議配置範圍:1-5,建議保持預設值

3

3. 抽取參數

注:抽取參數僅作用於FineBI的抽取功能,對FineReport、FineBI實時資料無影響。

3.1 基礎參數

參數定義預設值

修改後是否需要重啓工程

自助資料集預設更新設定

自助資料集單表更新是否跟隨父表更新。

詳情請參見:自助資料集單表更新

跟隨父表更新
Spark日誌匯出等級

spark日誌匯出等級,標準匯出流,匯出在 Tomcat 的 catalina.out 檔案內或者 BI 的 nohup 檔案內。

可選項為:INFO、WARN、ERROR、DEBUG

  • INFO:列印錯誤類和基本執行日誌

  • WARN:列印警告或提示類資訊

  • ERROR:只列印錯誤類日誌

  • DEBUG:列印所有日誌

INFO
更新高效能時間區間

在配置的時間段內不限制更新資源池核心數佔用。
為不影響使用者使用,建議配置到系統無人使用、更新任務頻繁的時間段。

精簡模式日期

精簡模式開啓時,日期欄位在進行資料抽取時,只提前生成少量分組型別,加快生成速度,減少佔用空間。

未生成的分組在進行計算時可能會有效能損失。

關閉是(且需重新更新資料)
資料存取活躍週期(天)

資料集被存取後的持續活躍週期。

存在以下兩種情況之一的資料集會被視為活躍:

  • 資料集製作的儀錶板/組件,在 x 天內被編輯或存取

  • 資料集的子表,在 x 天內被編輯且儲存

單位:天

14
資料建立活躍週期(天)

資料集被建立後的持續活躍週期。

資料集在被建立的 x 天內被視為活躍,超出則視為不活躍單位:天

7
資料活躍度全局檢查時間

資料集活躍狀態判斷的檢查時間。
將在該時間統一檢查資料集的存取、建立情況,重新整理其活躍狀態,進而將一部分資料集設定為不抽取。
可選項為:

  •  固定時間檢查:每天XXX點檢查,設定格式 hh:mm:ss

  • 全局更新定時任務前檢查

固定時間檢查
00:00:00


3.2 進階調優參數

參數
定義預設值

修改後是否
需要重啓工程

抽數壓縮執行緒數

抽取資料時,分片(壓縮&寫入)執行緒的數量。

在記憶體很小(不超過4G)並且無法擴展記憶體的情況下,可以調小該執行緒,減輕記憶體壓力。

配置過低,資料更新速度將會減緩。
配置過高,資料更新時可能會影響其他任務的吞吐量。

建議保持預設值 8
建議設定區間:[4, 16]

8
抽數壓縮執行緒佇列大小   

抽取資料時,未處理的分片等待佇列長度。

在記憶體很小(不超過4G)並且無法擴展記憶體的情況下,可以調小佇列長度,減輕記憶體壓力。

配置過低,資料更新速度將會減緩。

配置過高,資料更新時可能會影響其他任務的吞吐量。

建議保持預設值 200
建議設定區間:[100, 200]

200
新增資料抽數任務執行執行緒數   

新增資料的抽數任務同時執行的執行緒數。

在記憶體很小(不超過4G)並且無法擴展記憶體的情況下,可以調小該執行緒數,減輕記憶體壓力。

配置過高,資料更新時可能會影響其他任務的吞吐量。

建議保持預設值 5

建議設定區間:[1, 5]
5
Spark本地模式臨時檔案路徑   

Spark寫臨時檔案的目錄,需給足一定的空間,修改至SSD掛載路徑可提升Spark處理聯動、SparkSql查詢的效能
注:叢集版該參數無效,需要在伺服器端配置。

null (Linux下實際為/tmp)
增量更新資料塊整理計劃   

在這個時間段內,增量更新任務不會執行合併操作,提升增量更新的速度。

設定格式 hh:mm:ss-hh:mm:ss

範例 10:10:10-12:12:12
關閉

附件列表


主题: 管理系統
已经是第一篇
已经是最后一篇
  • 有帮助
  • 没帮助
  • 只是浏览
  • 圖片不清晰
  • 用語看不懂
  • 功能說明看不懂
  • 操作說明太簡單
  • 內容有錯誤
中文(繁體)

滑鼠選中內容,快速回饋問題

滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。

不再提示

10s後關閉

獲取幫助
線上支援
獲取專業技術支援,快速幫助您解決問題
工作日9:00-12:00,13:30-17:30在线
頁面反饋
針對當前網頁的建議、問題反饋
售前咨詢
業務咨詢
電話:0933-790886或 0989-092892
郵箱:taiwan@fanruan.com
頁面反饋
*問題分類
不能為空
問題描述
0/1000
不能為空

反馈已提交

网络繁忙