加速引擎

1. 概述

1.1 應用場景

在直連資料模式下,加速引擎可以提高大數據場景下資料應用的效率,實現更高的效能和滿足大規模資料處理的需求。

如要使用加速引擎,可以在「加速引擎」功能下配置加速庫,並監視加速庫中的資料效能 。

1.2 功能簡介

加速引擎主要有三個功能:

  • 加速引擎:配置一個資料庫作為加速庫,並監視加速庫的狀態(僅支援 StarRocks 資料庫作為加速庫);

  • SQL分析:監視 FineBI 中 SQL 的執行速度和效能;

  • Excel 上傳記錄:查看 Excel 的上傳情況;

1.3 使用前提

該功能是 BI 6.0 的可選模組,需要購買並註冊該功能點後才可使用。

2. 加速引擎

2.1 配置加速庫

1)點選「加速引擎>新增加速庫連結」,輸入資料庫的連結資訊。連結成功後可儲存,如下圖所示:

注:僅支援 StarRocks 資料庫作為加速庫。

配置項描述
資料庫名稱輸入資料庫的名稱
主機和埠輸入資料庫所在的主機以及埠;若是叢集,可以新增多個主機和埠
帳號/密碼

輸入資料庫的帳號和密碼

注:使用者需要是 root 使用者或者擁有 StarRocks 庫 SYSTEM 層的 NODE 或者 OPERATE 權限的使用者。授權方式:GRANT OPERATE ON SYSTEM TO USER 'user_name'@'%'

2)連結成功後,使用者可以直接「複製資料連結 URL」,去「資料連結」中,輸入該加速庫的資訊再建立一個資料連結。詳情請參見:StarRocks 資料連結

3)若要對已配置好的加速庫「刪除」或「編輯」,也可以點選右上方按鈕。

2.2 監視加速庫狀態

連結後, FineBI 會從加速庫中獲取節點狀態資訊,主要分為兩個模組:

  • 展示「加速庫」叢集中不同 FE 節點的狀態資訊:FE 負責處理和接收用戶端的查詢請求,並將這些查詢請求轉發給後端(BE)進行執行。FE 還負責查詢解析、優化、權限控制、結果集傳回等任務。

  • 展示「加速庫」叢集中不同 BE 節點的狀態資訊:BE是負責實際執行查詢操作的組件。它負責與儲存引擎進行交互,讀取和載入資料,執行查詢計劃,進行聚合和計算等操作,並將最終的結果傳回給 FE 進行處理和傳回給用戶端。

加速庫狀態展示如下資訊

  • FE資訊:名稱、IP、JDBC埠、WEB埠、節點角色、叢集ID、是否加入、存活狀態、啟動時間、最近心跳時間、錯誤資訊

  • BE資訊:BE ID、IP、啟動時間、最近心跳時間、存活狀態、CPU核心數、CPU佔用、記憶體佔用、磁碟佔用、磁碟總量、磁碟剩餘可用量、Tablet數量、磁碟佔用最大值、資料檔案佔用大小、錯誤資訊

3. SQL分析

 在 FineBI 分析時 FineBI 會傳送查詢的 SQL 給加速庫。如果有 SQL 查詢耗時較長(超過3s)或執行錯誤,就會被系統自動記錄到「SQL分析」介面。幫助管理者/維運人員去定位問題,優化效能。

注:使用「SQL 分析」功能,需要提前在資料庫中開啟以下參數:

set global enable_profile = true;
ADMIN SET FRONTEND CONFIG ("enable_collect_query_detail_info" = "true");

在介面上方,使用者可以對 SQL 按「狀態、開始時間、耗時、使用者」去進行篩選,如下圖所示:

1)例如,我們篩選查詢時間超過 10s 的 SQL。其中有一個耗時 57 秒的,我們可以雙擊「儀表板id、組件id、資料集id」後右鍵複製 id。再去「BI工具>查詢>表名查詢」中依據 ID 找到對應的資料表,或者去 配置資料集 中依據 ID 找到具體的儀表板、組件和資料集。

2)點選「查詢 ID」進入查詢資訊詳情介面。我們在「SQL詳情」還可以看到這條 SQL 具體執行的語句。

在 SQL 語句的最上方,也標註了 BI 相關的資源。

資源 id 名稱含義
CATEGORY_ID儀表板id
SUB_CATEGORY_ID
組件id
TABLE_NAMES資料集id

3)點選「執行時間」,即可看到每個算子的型別、耗時、耗時佔比以及每個節點傳回的資料行數,幫助我們排查慢速的原因。

比如說我們點選一個耗時佔比比較大的算子之後,即可看到具體的節點詳情。

  • 「執行時間 I/O」與「處理」佔該算子總時間的佔比

  • 該算子特有資訊

4)查看「執行詳情」和「查詢計劃」

  • 執行詳情:是「執行時間」的語句化,可以複製到正文檔案進行查看。比如說一些內網使用者需要讓外網人員幫忙排查執行速度,就可以複製「執行詳情」的語句傳送給外網人員。

  • 查詢計劃:主要提供給 DBA 查看,查看「查詢計劃」可以幫助 DBA 深入瞭解查詢的執行細節和效能特徵,幫助進行效能優化、資源管理和故障排除,以提高資料庫系統的整體效能和穩定性。

4. Excel上傳記錄

正常直連資料模式下,上傳到 FineBI 的 Excel 與資料庫表的融合分析會受到限制:

  • 原先使用 Insert Into 方式上傳 Excel ,上傳效能不佳,上傳速度慢。

  • Excel 資料不能超過 1w 條,分析受限。

  • 管理者無法知道哪些 Excel 已被使用,哪些上傳的 Excel 未被使用,不方便對 Excel 管理。

對此, FineBI 優化了 Excel 與加速庫中的資料庫表聯合分析的體驗。

只要在 FineBI 中配置了加速庫,系統會自動在 加速庫 裏建立 fine_bi_crossdata 庫。這時候我們在 FineBI 中上傳直連Excel 時,系統會自動使用 Excel 檔案在 fine_bi_crossdata 中建表 。如此,我們在使用加速庫中的資料庫表與 Excel 進行融合分析時,不再受到上面三條限制項影響

使用者可以進入「Excel上傳記錄」查看「源檔案、資料庫表、FineBI表名」三者之間的對應關係。

並且可以根據「表名」和「更新時間」尋找自己想要的表。

表頭描述
excel源檔案名稱Excel 源檔案的名稱
Excel源檔案伺服器路徑Excel 上傳 FineBI 後,源檔案在伺服器的儲存位址
表idExcel 在 FineBI 中的表 id
表名Excel 在 FineBI 中的名稱
資料庫表名系統用該 Excel 在 fine_bi_crossdata 中建立的表名
更新時間Excel 在 FineBI 的更新時間


附件列表


主题: 管理系統
已经是第一篇
已经是最后一篇
  • 有帮助
  • 没帮助
  • 只是浏览
中文(繁體)

滑鼠選中內容,快速回饋問題

滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。

不再提示

10s後關閉

獲取幫助
線上支援
獲取專業技術支援,快速幫助您解決問題
工作日9:00-12:00,13:30-17:30在线
頁面反饋
針對當前網頁的建議、問題反饋
售前咨詢
業務咨詢
電話:0933-790886或 0989-092892
郵箱:taiwan@fanruan.com
頁面反饋
*問題分類
不能為空
問題描述
0/1000
不能為空

反馈已提交

网络繁忙