資料同步與資料轉換的差別

  • 文档创建者:Roxy
  • 历史版本:15
  • 最近更新:Nikozhan 于 2025-03-31
  • 1. 概述

    FineDataLink 提供了包含資料開發、任務維運等功能,滿足使用者對資料進行同步、處理、清洗等一系列的需求。

    本文為你說明「資料同步」和「資料轉換」在使用上的差別,幫助你更好地應用產品。

    注:步驟流和資料流概念詳情參見 FineDatalink特有名詞

    功能模式
    屬性定義
    應用場景優勢劣勢
    資料轉換ETL資料轉換包含的算子,屬於資料流,資料轉換」節點本身為步驟流節點

    從資料來源端抽取資料,利用 FineDataLink 完成資料處理,再載入入資料目標端


    當資料需要利用 FDL完成複雜場景處理時,推薦使用資料轉換資料處理場景改寫範圍廣

    1)針對資料量較大場景,抽數速度低於資料同步

    2)消耗硬體資源配置,記憶體消耗高

    資料同步ELT步驟流

    從資料來源端抽取資料直接載入入資料目標端,然後利用資料庫完成資料處理。

    1)適用於較大數據量的同步場景,當單表資料量超過 1kw 時,推薦使用資料同步

    2)適用於沒有複雜處理邏輯的資料同步場景

    抽數效能佳 


    無法進行復雜場景的資料處理

    2. 資料轉換

    2.1 概念

    「資料轉換」包含的算子,屬於資料流,「資料轉換」節點本身為步驟流節點。

    即從輸入(Input)到匯出(Output)之間的資料流動,針對的是在資料流動程式中的每一行記錄、每一欄資料的處理,資料流裏可以完成資料的輸入、轉換等操作。如下圖所示:


    2.2 應用場景

    使用者希望將資料進行比較複雜的處理後再同步至資料庫中。

    首先進入「資料轉換」節點中,根據資料源類型進行資料輸入。如下圖所示:

    使用「連結」、「轉換」等步驟對輸入資料進行處理。如下圖所示:

    處理好資料後使用匯出步驟將資料匯出至資料庫中。如下圖所示:

    3. 資料同步

    3.1 概念

    「資料同步」節點屬於步驟流:步驟流也叫工作流,是對步驟進行編排,每個步驟都是相對獨立的,只有執行的先後順序差別,不會存在資料行的流動,如下圖所示:

    當然資料同步可以與其他步驟流節點一起參與步驟編排進行資料的 ETL 處理,比如和參數指派、循環容器等節點,如下圖所示:

    3.2 應用場景

    使用者希望將大量的資料直接抽取同步寫入資料庫中,且想要同步的資料不需要非常複雜的處理步驟。

    透過「設定需要抽取的資料」>「設定需要寫入的資料表及欄位結構」>「設定資料的寫入方式」將資料直接抽取並寫入資料庫中。


    附件列表


    主题: 資料開發-定時任務
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!