資料同步方案概述

  • 文檔創建者:Roxy
  • 編輯次數:29
  • 最近更新:Nikozhan 于 2025-07-28
  • 1. 概述

    資料同步包括定時同步、實時同步兩個功能模組。選擇使用哪個功能模組,需考慮要進行的資料同步是定時還是實時、增量還是全量等,不同模組的支援情況不同,此外還需要重點關注:資料的來源與去向、待同步的表或庫的數量等。

    本文為您概要介紹資料同步的支援情況。

    2. 資料同步能力

    維度
    資料開發資料管道
    增量/全量全量
    增量
    表與庫的數量單表同步
    整庫同步×
    支援的來源與去向資料源資料開發支援的資料源
    實時同步支援的資料源
    功能介紹文檔資料同步資料管道

    3. 資料同步方案

    更新方式
    場景方案功能組合範例
    定時增量更新來源表資料僅存在新增來源表有時間戳若來源表有時間戳,可以使用「參數指派」節點獲取目標表時間戳最大值,再使用「資料同步」節點獲取增量資料做增量更新參數指派+資料同步数据增量更新
    來源表無時間戳,但是有唯一標識用使用參數指派」節點獲取目標表內唯一標識,再獲取來源表中存在但是目標表中沒有的標識對應資料(也就是需要同步至目標表的新增資料),將這部分資料使用資料同步」節點,完成增量更新
    定時全量更新將目標表資料全部取代為來源表資料
    寫入方式選擇清空目標表,再寫入資料即可資料同步資料同步
    定時比對更新來源表資料存在刪除或者修改來源表資料變化,存在刪除操作透過「資料比對」+「DB表匯出」的組合方式,可完成插入資料、刪除資料、更新資料的操作。資料來源表+資料目標表+資料比對+DB表匯出資料比對

    高效率

    結合時間戳、業務時間等進行增量同步

    參數指派、資料比對、SQL腳本

    增刪改資料同步概述(高效率)
    來源端存在新增、修改的資料

    目標端有主鍵時可設定資料同步-寫入方式主鍵比對策略

    資料同步資料同步
    目標端無主鍵,則透過「資料比對」+「DB表匯出」的組合方式,獲取新增、修改資料,並可完成同步新增、修改資料的操作。資料來源表+資料目標表+資料比對+DB表匯出資料比對
    來源端僅存在修改的資料目標端有主鍵時可設定資料同步-寫入方式主鍵比對策略資料同步資料同步
    目標端無主鍵,透過「資料比對」+「DB表匯出」的組合方式,獲取修改資料,並可完成同步修改資料的操作。資料來源表+資料目標表+資料比對+DB表匯出

    資料比對


    資料增刪改變化實時同步到目標表中使用資料管道功能
    資料管道概述

    內容擴展:

    4.0.28 及之後版本,若使用者為以下場景時(來源表和目標表都不是簡道雲資料):

    • 沒有標識欄位,希望將篩選出的資料,做追加或者更新或者刪除操作(無標識欄位時僅允許選擇一種操作類型)。

    • 資料已經有了標識欄位和標識值,需要對資料進行追加/更新/刪除操作。

    可透過「資料同步」節點實現,詳情請參見:資料同步-基於標識欄位,新增/修改/刪除資料



    附件列表


    主題: 資料同步專題
    已經是第一篇
    已經是最後一篇
    • 有幫助
    • 沒幫助
    • 只是瀏覽
    • 评价文档,奖励 1 ~ 100 随机 F 豆!