直連資料和抽取資料的差別- FineBI帮助文档 FineBI帮助文档

1. 概述

1.1 版本

FineBI 版本	調整功能
7.0	-

1.2 應用場景

本文將為使用者介紹「抽取資料」和「直連資料」是什麼，以及它們之間有什麼差別，如何去選擇等等。

2. 抽取與直連的介紹

引擎介紹

	引擎介紹
抽取資料	使用抽取資料時， FineBI 將資料庫中的資料抽取到 FineBI 中（相當於另存到 FineBI 中），所以資料庫中的資料與 FineBI 中的資料不能隨時保持同步。需要定期對 FineBI 中的資料進行更新，進而保持和資料庫中的資料一致。因為資料需要抽取儲存到 FineBI 的引擎中，所以「抽取」版本下，需要使用者的本地磁碟擁有足夠的空間。透過快取資料/構建資料複本的方式，支撐較大數據量的OLAP深度自助分析，加速查詢的效能，保障其分析體驗，同時儘可能避免對業務資料庫的影響，滿足使用者複雜業務環境下的深度分析需求。
直連資料	使用的是直連資料集時，FineBI 直接使用用戶的資料庫中的資料計算， FineBl 中的資料與資料庫中的資料保持同步。藉助客戶大數據平台/數倉，滿足客戶高併發、大數據量前提下的簡單自助分析。

抽取資料

使用抽取資料時， FineBI 將資料庫中的資料抽取到 FineBI 中（相當於另存到 FineBI 中），所以資料庫中的資料與 FineBI 中的資料不能隨時保持同步。需要定期對 FineBI 中的資料進行更新，進而保持和資料庫中的資料一致。因為資料需要抽取儲存到 FineBI 的引擎中，所以「抽取」版本下，需要使用者的本地磁碟擁有足夠的空間。

透過快取資料/構建資料複本的方式，支撐較大數據量的OLAP深度自助分析，加速查詢的效能，保障其分析體驗，同時儘可能避免對業務資料庫的影響，滿足使用者複雜業務環境下的深度分析需求。

直連資料

使用的是直連資料集時，FineBI 直接使用用戶的資料庫中的資料計算， FineBl 中的資料與資料庫中的資料保持同步。藉助客戶大數據平台/數倉，滿足客戶高併發、大數據量前提下的簡單自助分析。

使用要求

	使用要求
抽取資料	伺服器效能滿足要求：工程部署推薦環境及配置
直連資料	自有大數據平台，自身資料庫可靠性高，效能好不同資料庫類型，分別依照建議的使用模式進行自助分析可用 Web 叢集對接資料庫來支撐高併發量有一定的資料庫維運能力對資料分析無深入分析需求

使用場景

	使用場景
抽取資料	適用於幾乎所有場景
直連資料	適用於已有數倉/高效能資料庫，由於非技術原因要用直連的客戶（如不允許資料在其他系統）

直連和抽取對比

	優勢	劣勢
抽取資料	更快：基於帆軟自研引擎，無論大數據還是輕量分析，都能顯著提升查詢速度更穩：中大客戶可作為資料加速層，減少實時計算壓力；中小客戶可一體化部署，相容主流BI工具，確定系統穩定更省：無需額外部署，降低硬體與維運成本	需進行資料同步，實時性稍遜
直連資料	實時查詢資料，延遲低無需資料同步，資料一致強	受數倉效能影響，查詢慢時難優化大量複雜查詢可能加大數倉負擔

客戶畫像

	客戶畫像
抽取資料	現有數倉查詢效能較差，BI查詢回應慢業務對查詢速度敏感，例如營運資料分析、銷售分析等場景需要降低數倉壓力，避免影響其他業務系統的穩定性沒有複雜的交易管理要求，實時性要求不高，可以定期同步資料
直連資料	需同時滿足以下幾點： 1）已有大數據平台、專門的計算引擎，自身資料庫可靠性高、效能好，如StarRocks、Doris（SelectDB）、Hologres 、Vertica、GaussDB200等 2）資料量超過10億 3）沒有複雜分析場景，僅有簡單自助分析場景：自助資料集複雜計算步驟數（左右合併、從其他表新增列、新增匯總列、新增公式欄-DEF函式、列轉欄、欄轉列的總步驟數）≤2 限制直連資料集血緣分析上限為3層如使用主題模型，自助資料集中就不能有複雜計算步驟 4）需要實時查詢最新資料，例如金融、實時監視類業務 5）具備強大的數倉管理能力，能夠優化複雜查詢效能 6）IT團隊對BI查詢優化較為熟悉，能夠自行排查SQL效能問題

抽取資料

現有數倉查詢效能較差，BI查詢回應慢
業務對查詢速度敏感，例如營運資料分析、銷售分析等場景
需要降低數倉壓力，避免影響其他業務系統的穩定性
沒有複雜的交易管理要求，實時性要求不高，可以定期同步資料

直連資料

需同時滿足以下幾點：

1）已有大數據平台、專門的計算引擎，自身資料庫可靠性高、效能好，如StarRocks、Doris（SelectDB）、Hologres 、Vertica、GaussDB200等

2）資料量超過10億

3）沒有複雜分析場景，僅有簡單自助分析場景：

自助資料集複雜計算步驟數（左右合併、從其他表新增列、新增匯總列、新增公式欄-DEF函式、列轉欄、欄轉列的總步驟數）≤2
限制直連資料集血緣分析上限為3層
如使用主題模型，自助資料集中就不能有複雜計算步驟

4）需要實時查詢最新資料，例如金融、實時監視類業務

5）具備強大的數倉管理能力，能夠優化複雜查詢效能

6）IT團隊對BI查詢優化較為熟悉，能夠自行排查SQL效能問題

3. 如何選擇抽取與直連

提示:

優先推薦抽取資料，它能為你帶來更穩定、高效的資料分析體驗，同時享受更全面的資源支援與服務保障。

億級資料量，自助分析場景，推薦使用抽取資料（大部分企業的選擇）

結果集資料量是小資料量（千萬級及以下），用 抽取資料
結果集資料量是大數據量（億級及以下），優先推薦 抽取資料

億級資料量表很多，時效性高，固定看板場景為主，使用直連資料

結果集資料量在億級以上，且時效性要求高（小時級的更新），推薦使用 直連資料

注：本節描述的資料量均指結果集資料量，即儀表板中使用的直接表的資料量，而不是指基礎表。

4. 組件中抽取與直連的計算邏輯

4.1 相同場景的計算邏輯

計算邏輯	抽取	直連
快速計算過濾對合計值的影響	不影響	不影響
快速計算過濾對其他快速計算指標的影響	不影響	不影響
快速計算過濾對其他快速計算合計的影響	不影響	不影響
維度依據指標過濾/排序	依賴合計結果進行過濾/排序	依賴合計結果進行過濾/排序
交叉表過濾邏輯	依據過濾條件正常過濾	依據過濾條件正常過濾
過濾器的過濾和表頭過濾在同一過濾級別下	取兩者過濾條件的交集	取兩者過濾條件的交集
null 和空字串的過濾邏輯不同	選擇 null 或空字串過濾，把 null 和空字串全部都過濾掉	依據資料庫的邏輯進行過濾若資料庫邏輯是空過濾空，null 過濾 null ，則結果與抽取不同

上一篇：切換直連資料和抽取資料

下一篇：直連資料

有帮助
没帮助
只是浏览
圖片不清晰
用語看不懂
功能說明看不懂
操作說明太簡單
內容有錯誤

中文（简体） English 日本語

中文（繁體）

直連資料和抽取資料的差別