1. 概述
1.1 應用場景
在直連資料模式下,加速引擎可以提高大數據場景下資料應用的效率,實現更高的效能和滿足大規模資料處理的需求。
如要使用加速引擎,可以在「加速引擎」功能下配置加速庫,並監視加速庫中的資料效能 。
1.2 功能簡介
加速引擎主要有三個功能:
加速引擎:配置一個資料庫作為加速庫,並監視加速庫的狀態(僅支援 StarRocks 資料庫作為加速庫);
SQL分析:監視 FineBI 中 SQL 的執行速度和效能;
Excel 上傳記錄:查看 Excel 的上傳情況;
1.3 使用前提
該功能是 BI 6.0 的可選模組,需要購買並註冊該功能點後才可使用。
2. 加速引擎
2.1 配置加速庫
1)點選「加速引擎>新增加速庫連結」,輸入資料庫的連結資訊。連結成功後可儲存,如下圖所示:
注:僅支援 StarRocks 資料庫作為加速庫。
配置項 | 描述 |
---|---|
資料庫名稱 | 輸入資料庫的名稱 |
主機和埠 | 輸入資料庫所在的主機以及埠;若是叢集,可以新增多個主機和埠 |
帳號/密碼 | 輸入資料庫的帳號和密碼 注:使用者需要是 root 使用者或者擁有 StarRocks 庫 SYSTEM 層的 NODE 或者 OPERATE 權限的使用者。授權方式:GRANT OPERATE ON SYSTEM TO USER 'user_name'@'%' |
2)連結成功後,使用者可以直接「複製資料連結 URL」,去「資料連結」中,輸入該加速庫的資訊再建立一個資料連結。詳情請參見:StarRocks 資料連結
3)若要對已配置好的加速庫「刪除」或「編輯」,也可以點選右上方按鈕。
2.2 監視加速庫狀態
連結後, FineBI 會從加速庫中獲取節點狀態資訊,主要分為兩個模組:
展示「加速庫」叢集中不同 FE 節點的狀態資訊:FE 負責處理和接收用戶端的查詢請求,並將這些查詢請求轉發給後端(BE)進行執行。FE 還負責查詢解析、優化、權限控制、結果集傳回等任務。
展示「加速庫」叢集中不同 BE 節點的狀態資訊:BE是負責實際執行查詢操作的組件。它負責與儲存引擎進行交互,讀取和載入資料,執行查詢計劃,進行聚合和計算等操作,並將最終的結果傳回給 FE 進行處理和傳回給用戶端。
加速庫狀態展示如下資訊
FE資訊:名稱、IP、JDBC埠、WEB埠、節點角色、叢集ID、是否加入、存活狀態、啟動時間、最近心跳時間、錯誤資訊
BE資訊:BE ID、IP、啟動時間、最近心跳時間、存活狀態、CPU核心數、CPU佔用、記憶體佔用、磁碟佔用、磁碟總量、磁碟剩餘可用量、Tablet數量、磁碟佔用最大值、資料檔案佔用大小、錯誤資訊
3. SQL分析
在 FineBI 分析時 FineBI 會傳送查詢的 SQL 給加速庫。如果有 SQL 查詢耗時較長(超過3s)或執行錯誤,就會被系統自動記錄到「SQL分析」介面。幫助管理者/維運人員去定位問題,優化效能。
注:使用「SQL 分析」功能,需要提前在資料庫中開啟以下參數:
set global enable_profile = true;
ADMIN SET FRONTEND CONFIG ("enable_collect_query_detail_info" = "true");
在介面上方,使用者可以對 SQL 按「狀態、開始時間、耗時、使用者」去進行篩選,如下圖所示:
1)例如,我們篩選查詢時間超過 10s 的 SQL。其中有一個耗時 57 秒的,我們可以雙擊「儀表板id、組件id、資料集id」後右鍵複製 id。再去「BI工具>查詢>表名查詢」中依據 ID 找到對應的資料表,或者去 配置資料集 中依據 ID 找到具體的儀表板、組件和資料集。
2)點選「查詢 ID」進入查詢資訊詳情介面。我們在「SQL詳情」還可以看到這條 SQL 具體執行的語句。
在 SQL 語句的最上方,也標註了 BI 相關的資源。
資源 id 名稱 | 含義 |
---|---|
CATEGORY_ID | 儀表板id |
SUB_CATEGORY_ID | 組件id |
TABLE_NAMES | 資料集id |
3)點選「執行時間」,即可看到每個算子的型別、耗時、耗時佔比以及每個節點傳回的資料行數,幫助我們排查慢速的原因。
比如說我們點選一個耗時佔比比較大的算子之後,即可看到具體的節點詳情。
「執行時間 I/O」與「處理」佔該算子總時間的佔比
該算子特有資訊
4)查看「執行詳情」和「查詢計劃」
執行詳情:是「執行時間」的語句化,可以複製到正文檔案進行查看。比如說一些內網使用者需要讓外網人員幫忙排查執行速度,就可以複製「執行詳情」的語句傳送給外網人員。
查詢計劃:主要提供給 DBA 查看,查看「查詢計劃」可以幫助 DBA 深入瞭解查詢的執行細節和效能特徵,幫助進行效能優化、資源管理和故障排除,以提高資料庫系統的整體效能和穩定性。
4. Excel上傳記錄
正常直連資料模式下,上傳到 FineBI 的 Excel 與資料庫表的融合分析會受到限制:
原先使用 Insert Into 方式上傳 Excel ,上傳效能不佳,上傳速度慢。
Excel 資料不能超過 1w 條,分析受限。
管理者無法知道哪些 Excel 已被使用,哪些上傳的 Excel 未被使用,不方便對 Excel 管理。
對此, FineBI 優化了 Excel 與加速庫中的資料庫表聯合分析的體驗。
只要在 FineBI 中配置了加速庫,系統會自動在 加速庫 裏建立 fine_bi_crossdata 庫。這時候我們在 FineBI 中上傳直連Excel 時,系統會自動使用 Excel 檔案在 fine_bi_crossdata 中建表 。如此,我們在使用加速庫中的資料庫表與 Excel 進行融合分析時,不再受到上面三條限制項影響。
使用者可以進入「Excel上傳記錄」查看「源檔案、資料庫表、FineBI表名」三者之間的對應關係。
並且可以根據「表名」和「更新時間」尋找自己想要的表。
表頭 | 描述 |
---|---|
excel源檔案名稱 | Excel 源檔案的名稱 |
Excel源檔案伺服器路徑 | Excel 上傳 FineBI 後,源檔案在伺服器的儲存位址 |
表id | Excel 在 FineBI 中的表 id |
表名 | Excel 在 FineBI 中的名稱 |
資料庫表名 | 系統用該 Excel 在 fine_bi_crossdata 中建立的表名 |
更新時間 | Excel 在 FineBI 的更新時間 |