不同寫入方式效果說明

  • 文檔創建者:Wendy123456
  • 編輯次數:4
  • 最近更新:Nikozhan 于 2025-06-22
  • 1. 概述

    資料同步-寫入方式 文檔中,介紹了三種寫入方式:直接將資料寫入目標表清空目標表,再寫入資料基於標識欄位,新增/修改/刪除資料

    本文為您展示這三種寫入方式的實際效果。

    注:本文只是介紹三種寫入方式的效果,實際資料更新場景中,應該選擇的具體方案請參見:資料同步方案概述

    2. 直接將資料寫入目標表

    2.1 目標表無物理主鍵且未配置邏輯主鍵映射

    目標表無物理主鍵未配置邏輯主鍵映射時,寫入方式選擇「直接將資料寫入目標表」;該場景中,待寫入資料不會影響目標表原有資料,只是將資料新增到目標表中。

    2.1.1 場景模擬

    待寫入資料中,訂單ID 為 10282 的資料與目標表訂單ID 為 10282 的資料相同。

    1)待寫入資料如下圖所示:

    23.png

    2)目標表資料如下圖所示:

    22.png

    現希望將待寫入資料增加到目標表中。

    2.1.2 範例

    1)建立定時任務,拖入資料同步節點,讀取待寫入資料。如下圖所示:

    24.png

    2)資料去向與映射中,選擇目標表。如下圖所示:

    25.png

    3)寫入方式選擇直接將資料寫入目標表(不設定主鍵映射)。如下圖所示:

    1724226540980102.png

    4)任務運作後,目標表資料如下圖所示:

    可看到待寫入資料(紅框內的資料)直接新增到目標表中;待寫入資料中與目標表相同的資料(黃色標記的資料),也直接新增到目標表中。

    27.png

    2.2 目標表有物理主鍵或已配置邏輯主鍵映射

    目標表有物理主鍵或已配置邏輯主鍵映射,將基於主鍵比對資料行的差異:

    1)主鍵不同的資料行:將資料新增到目標表中。

    2)主鍵相同的資料行,提供三種寫入策略:

    • 主鍵相同,改寫目標表的資料(更新舊資料

    • 主鍵相同,忽略輸入源的資料(忽略與目標表主鍵相同的新資料

    • 主鍵相同,記錄為髒資料(將與目標表主鍵相同的新資料記為髒資料

    本節內容,適用於目標表資料需要更新的場景;可實現目標表資料的新增、更新。

    2.2.1 場景模擬

    1)待寫入資料如下圖所示:

    28.png

    2)目標表資料如下圖所示:

    31.png

    2.2.2 範例

    1)以「資料同步」節點為例,展示該場景的效果;資料來源資料去向與映射Tab中,具體設定與 2.1.2 節相同,本節不再詳細說明。

    2)寫入方式選擇直接將資料寫入目標表,主鍵映射處設定主鍵為訂單ID,主鍵衝突策略選擇主鍵相同,改寫目標表的資料」。如下圖所示:

    1724228286979702.png

    任務運作後,目標表資料如下圖所示:

    32.png

    3)寫入方式選擇直接將資料寫入目標表,主鍵映射處設定主鍵為訂單ID,主鍵衝突策略選擇主鍵相同,忽略輸入源的資料」。如下圖所示:

    1724228631255711.png

    任務運作後,目標表資料如下圖所示:

    34.png

    4)寫入方式選擇直接將資料寫入目標表,主鍵映射處設定主鍵為訂單ID,主鍵衝突策略選擇主鍵相同,記錄為髒資料」。如下圖所示:

    1724228830224911.png

    任務運作後,目標表資料如下圖所示:

    34.png

    運作日誌提示存在髒資料。如下圖所示:

    實際使用時,可設定「髒資料臨界值」,使任務具備一定故障容許度性。當任務運作時遇到髒資料,達到「髒資料臨界值」前將繼續執行定時任務,達到「髒資料臨界值」後再報錯。詳情請參見:髒資料容忍

    實際使用時,若希望看到詳細的日誌展示,可將日誌級別設定為INFO,詳情請參見:日誌等級設定

    1724229007937530.png

    3. 清空目標表,再寫入資料

    寫入資料前,先清空目標表,再將資料寫入。

    注:該寫入方式可能會造成目標表短暫不可用。

    3.1 場景模擬

    1)待寫入資料如下圖所示:

    37.png

    2)目標表資料如下圖所示:

    38.png

    3.2 範例

    1)以「資料同步」節點為例,展示該場景的效果;資料來源資料去向與映射Tab中,具體設定與 2.1.2 節相同,本節不再詳細說明。

    2)寫入方式選擇清空目標表,再寫入資料。如下圖所示:

    1724229549901042.png

    3)任務運作後,目標表資料如下圖所示:

    40.png

    4. 基於標識欄位,新增/修改/刪除資料

    該寫入方式可實現資料的新增、修改、刪除(這三種效果可單獨實現也可組合實現)

    41.png

    1)4.0.28 及之後版本,若使用者為以下場景時(來源表和目標表都不是簡道雲資料):

    • 沒有標識欄位,希望將篩選出的資料,做追加或者更新或者刪除操作(無標識欄位時僅允許選擇一種操作類型)。

    • 資料已經有了標識欄位和標識值,需要對資料進行追加/更新/刪除操作。

    可透過「資料同步」節點實現,詳情請參見:資料同步-基於標識欄位,追加/更新/刪除資料

    2)該寫入方式通常與 資料比對 算子配合使用,具體範例及效果請參見:資料比對典型範例





    附件列表


    主題: 資料開發-定時任務
    已經是第一篇
    已經是最後一篇
    • 有幫助
    • 沒幫助
    • 只是瀏覽
    • 评价文档,奖励 1 ~ 100 随机 F 豆!