FineDataLink 提供了包含資料開發、任務維運等功能,滿足使用者對資料進行同步、處理、清洗等一系列的需求。
本文為你說明「資料同步」和「資料轉換」在使用上的差別,幫助你更好地應用產品。
注:步驟流和資料流概念詳情參見 FineDatalink特有名詞
從資料來源端抽取資料,利用 FineDataLink 完成資料處理,再載入入資料目標端
1)針對資料量較大場景,抽數速度低於資料同步
2)消耗硬體資源配置,記憶體消耗高
從資料來源端抽取資料直接載入入資料目標端,然後利用資料庫完成資料處理。
1)適用於較大數據量的同步場景,當單表資料量超過 1kw 時,推薦使用資料同步
2)適用於沒有複雜處理邏輯的資料同步場景
抽數效能佳
「資料轉換」包含的算子,屬於資料流,「資料轉換」節點本身為步驟流節點。
即從輸入(Input)到匯出(Output)之間的資料流動,針對的是在資料流動程式中的每一行記錄、每一欄資料的處理,資料流裏可以完成資料的輸入、轉換等操作。如下圖所示:
使用者希望將資料進行比較複雜的處理後再同步至資料庫中。
首先進入「資料轉換」節點中,根據資料源類型進行資料輸入。如下圖所示:
使用「連結」、「轉換」等步驟對輸入資料進行處理。如下圖所示:
處理好資料後使用匯出步驟將資料匯出至資料庫中。如下圖所示:
「資料同步」節點屬於步驟流:步驟流也叫工作流,是對步驟進行編排,每個步驟都是相對獨立的,只有執行的先後順序差別,不會存在資料行的流動,如下圖所示:
當然資料同步可以與其他步驟流節點一起參與步驟編排進行資料的 ETL 處理,比如和參數指派、循環容器等節點,如下圖所示:
使用者希望將大量的資料直接抽取同步寫入資料庫中,且想要同步的資料不需要非常複雜的處理步驟。
透過「設定需要抽取的資料」>「設定需要寫入的資料表及欄位結構」>「設定資料的寫入方式」將資料直接抽取並寫入資料庫中。
滑鼠選中內容,快速回饋問題
滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。
不再提示
10s後關閉
反馈已提交
网络繁忙