1. 概述
1.1 功能簡介
FineBI v6.0 整合 FineDataLink 資料開發模組,具備ELT、ETL雙核資料開發引擎,靈活滿足不同資料處理場景,IT人員可使用該功能將處理好的高質量資料同步至 FineBI,以供業務人員自助分析。
使用視覺化的操作介面和便捷的功能,將資料直接匯出到業務資料庫,減少了 BI 中的中間表,解決了自助資料集冗餘和更新時間長的問題,提高 FineBI 效能;同時 FineDataLink 處理並匯出到資料庫中的資料表也可以被其他工具使用。
提供離線同步、 SQL 腳本、資料轉換等資料處理功能。
支援跨資料庫的資料抽取。
支援對資料庫內的資料表進行建立、刪除、更新、讀取等操作。
注:新手使用者可參閱第一個定時任務開發進行任務學習。
1.2 前提條件
需要在登入管理中登入授權該功能。
同時管理者需要為使用者開啟定時任務管理權限,確定使用者有使用該功能的權限。
2. 資料開發功能
2.1 任務開發介面
點選「資料開發」模組,在任務列表中選擇指定的任務,如下圖所示:
即可看到當前的任務開發介面,如下圖所示:
2.2 節點說明
節點是組成定時任務的基本單位,多個節點透過線條連結後可確定執行流程,進而組成一個完整的 ETL 任務,如下圖則為進入資料開發後的任務節點介面:
FineDataLink目前有如下節點,它們的基本介紹如下表所示:
節點名稱 | 應用場景 | |
---|---|---|
通用 | 資料同步 | 將資料從一個資料庫同步至另一個資料庫 注:若需要將資料同步至 BI 中,可以使用資料同步至FineBI |
資料轉換 | 可執行資料聯動、同步刪除資料等操作 | |
腳本 | SQL腳本 | 寫 SQL 語句對資料庫中的資料進行處理 |
Shell腳本 | 透過執行 shell 腳本,對接外部的獨立資料處理過程,例如呼叫Kettle任務、呼叫Python計算任務等 | |
流程 | 參數指派 | 用參數承載上游節點運作的結果,然後在下游節點中使用該結果 |
條件分支 | 基於一個來自於上游或者系統的條件,判斷是否繼續運作下游節點或者運作下游節點裏面的哪一個 | |
虛擬節點 | 希望多個節點可以並行運作後再轉到下游節點,可藉助該節點實現 | |
呼叫任務 | 可以在當前任務中呼叫其他任務,這樣可以直接設定任務間執行的依賴關係,實現跨任務編排 | |
訊息通知 | 可將任務調度結果以企業微信群機器人/郵件/釘釘/簡訊的形式通知給指定使用者 | |
循環容器 | 可滿足循環取數的場景 | |
其他 | ETL任務和節點新增備註 | 需要為節點或任務新增備註,例如在任務中備註該任務的具體使用場景 |
2.3 調度配置
為了滿足資料的實時性需求,可以透過設定定時任務調度配置進行任務的定時執行,如下圖所示: