最新历史版本 :資料同步與資料轉換的差別 返回文檔
編輯時間: 內容長度:图片数:目录数: 修改原因:

目錄:

1. 概述编辑

FineDataLink 提供了包含資料開發、任務維運等功能，滿足使用者對資料進行同步、處理、清洗等一系列的需求。

本文為你說明「資料同步」和「資料轉換」在使用上的差別，幫助你更好地應用產品。

注：步驟流和資料流概念詳情參見 FineDatalink特有名詞

功能模式
屬性定義
應用場景優勢劣勢
資料轉換ETL「資料轉換」包含的算子，屬於資料流，「資料轉換」節點本身為步驟流節點

從資料來源端抽取資料，利用 FineDataLink 完成資料處理，再載入入資料目標端


當資料需要利用 FDL完成複雜場景處理時，推薦使用資料轉換資料處理場景改寫範圍廣

1）針對資料量較大場景，抽數速度低於資料同步

2）消耗硬體資源配置，記憶體消耗高

資料同步ELT步驟流

從資料來源端抽取資料直接載入入資料目標端，然後利用資料庫完成資料處理。

1）適用於較大數據量的同步場景，當單表資料量超過 1kw 時，推薦使用資料同步

2）適用於沒有複雜處理邏輯的資料同步場景

抽數效能佳 


無法進行復雜場景的資料處理

2. 資料轉換编辑

2.1 概念

「資料轉換」包含的算子，屬於資料流，「資料轉換」節點本身為步驟流節點。

即從輸入（Input）到匯出（Output）之間的資料流動，針對的是在資料流動程式中的每一行記錄、每一欄資料的處理，資料流裏可以完成資料的輸入、轉換等操作。如下圖所示：


2.2 應用場景

使用者希望將資料進行比較複雜的處理後再同步至資料庫中。

首先進入「資料轉換」節點中，根據資料源類型進行資料輸入。如下圖所示：

使用「連結」、「轉換」等步驟對輸入資料進行處理。如下圖所示：

處理好資料後使用匯出步驟將資料匯出至資料庫中。如下圖所示：

3. 資料同步编辑

3.1 概念

「資料同步」節點屬於步驟流：步驟流也叫工作流，是對步驟進行編排，每個步驟都是相對獨立的，只有執行的先後順序差別，不會存在資料行的流動，如下圖所示：

當然資料同步可以與其他步驟流節點一起參與步驟編排進行資料的 ETL 處理，比如和參數指派、循環容器等節點，如下圖所示：

3.2 應用場景

使用者希望將大量的資料直接抽取同步寫入資料庫中，且想要同步的資料不需要非常複雜的處理步驟。

透過「設定需要抽取的資料」>「設定需要寫入的資料表及欄位結構」>「設定資料的寫入方式」將資料直接抽取並寫入資料庫中。