1. 概述
FineDataLink 提供了包含資料開發、任務維運等功能,滿足使用者對資料進行同步、處理、清洗等一系列的需求。
本文為你說明「資料同步」和「資料轉換」在使用上的差別,幫助你更好地應用產品。
注:步驟流和資料流概念詳情參見 FineDatalink特有名詞
功能 | 模式 | 屬性 | 定義 | 應用場景 | 優勢 | 劣勢 |
---|---|---|---|---|---|---|
資料轉換 | ETL | 「資料轉換」包含的算子,屬於資料流,「資料轉換」節點本身為步驟流節點 | 從資料來源端抽取資料,利用 FineDataLink 完成資料處理,再載入入資料目標端 | 當資料需要利用 FDL完成複雜場景處理時,推薦使用資料轉換 | 資料處理場景改寫範圍廣 | 1)針對資料量較大場景,抽數速度低於資料同步 2)消耗硬體資源配置,記憶體消耗高 |
資料同步 | ELT | 步驟流 | 從資料來源端抽取資料直接載入入資料目標端,然後利用資料庫完成資料處理。 | 1)適用於較大數據量的同步場景,當單表資料量超過 1kw 時,推薦使用資料同步 2)適用於沒有複雜處理邏輯的資料同步場景 | 抽數效能佳 | 無法進行復雜場景的資料處理 |
2. 資料轉換
2.1 概念
「資料轉換」包含的算子,屬於資料流,「資料轉換」節點本身為步驟流節點。
即從輸入(Input)到匯出(Output)之間的資料流動,針對的是在資料流動程式中的每一行記錄、每一欄資料的處理,資料流裏可以完成資料的輸入、轉換等操作。如下圖所示:
2.2 應用場景
使用者希望將資料進行比較複雜的處理後再同步至資料庫中。
首先進入「資料轉換」節點中,根據資料源類型進行資料輸入。如下圖所示:
使用「連結」、「轉換」等步驟對輸入資料進行處理。如下圖所示:
處理好資料後使用匯出步驟將資料匯出至資料庫中。如下圖所示: