最新历史版本 :不同寫入方式效果說明 返回文檔
編輯時間: 內容長度:图片数:目录数: 修改原因:

目錄:

1. 概述编辑

資料同步-寫入方式 文檔中,介紹了三種寫入方式:直接將資料寫入目標表清空目標表,再寫入資料基於標識欄位,新增/修改/刪除資料

本文為您展示這三種寫入方式的實際效果。

注:本文只是介紹三種寫入方式的效果,實際資料更新場景中,應該選擇的具體方案請參見:資料同步方案概述

2. 直接將資料寫入目標表编辑

2.1 目標表無物理主鍵且未配置邏輯主鍵映射

目標表無物理主鍵未配置邏輯主鍵映射時,寫入方式選擇「直接將資料寫入目標表」;該場景中,待寫入資料不會影響目標表原有資料,只是將資料新增到目標表中。

2.1.1 場景模擬

待寫入資料中,訂單ID 為 10282 的資料與目標表訂單ID 為 10282 的資料相同。

1)待寫入資料如下圖所示:

23.png

2)目標表資料如下圖所示:

22.png

現希望將待寫入資料增加到目標表中。

2.1.2 範例

1)建立定時任務,拖入資料同步節點,讀取待寫入資料。如下圖所示:

24.png

2)資料去向與映射中,選擇目標表。如下圖所示:

25.png

3)寫入方式選擇直接將資料寫入目標表(不設定主鍵映射)。如下圖所示:

1724226540980102.png

4)任務運作後,目標表資料如下圖所示:

可看到待寫入資料(紅框內的資料)直接新增到目標表中;待寫入資料中與目標表相同的資料(黃色標記的資料),也直接新增到目標表中。

27.png

2.2 目標表有物理主鍵或已配置邏輯主鍵映射

目標表有物理主鍵或已配置邏輯主鍵映射,將基於主鍵比對資料行的差異:

1)主鍵不同的資料行:將資料新增到目標表中。

2)主鍵相同的資料行,提供三種寫入策略:

  • 主鍵相同,改寫目標表的資料(更新舊資料

  • 主鍵相同,忽略輸入源的資料(忽略與目標表主鍵相同的新資料

  • 主鍵相同,記錄為髒資料(將與目標表主鍵相同的新資料記為髒資料

本節內容,適用於目標表資料需要更新的場景;可實現目標表資料的新增、更新。

2.2.1 場景模擬

1)待寫入資料如下圖所示:

28.png

2)目標表資料如下圖所示:

31.png

2.2.2 範例

1)以「資料同步」節點為例,展示該場景的效果;資料來源資料去向與映射Tab中,具體設定與 2.1.2 節相同,本節不再詳細說明。

2)寫入方式選擇直接將資料寫入目標表,主鍵映射處設定主鍵為訂單ID,主鍵衝突策略選擇主鍵相同,改寫目標表的資料」。如下圖所示:

1724228286979702.png

任務運作後,目標表資料如下圖所示:

32.png

3)寫入方式選擇直接將資料寫入目標表,主鍵映射處設定主鍵為訂單ID,主鍵衝突策略選擇主鍵相同,忽略輸入源的資料」。如下圖所示:

1724228631255711.png

任務運作後,目標表資料如下圖所示:

34.png

4)寫入方式選擇直接將資料寫入目標表,主鍵映射處設定主鍵為訂單ID,主鍵衝突策略選擇主鍵相同,記錄為髒資料」。如下圖所示:

1724228830224911.png

任務運作後,目標表資料如下圖所示:

34.png

運作日誌提示存在髒資料。如下圖所示:

實際使用時,可設定「髒資料臨界值」,使任務具備一定故障容許度性。當任務運作時遇到髒資料,達到「髒資料臨界值」前將繼續執行定時任務,達到「髒資料臨界值」後再報錯。詳情請參見:髒資料容忍

實際使用時,若希望看到詳細的日誌展示,可將日誌級別設定為INFO,詳情請參見:日誌等級設定

1724229007937530.png

3. 清空目標表,再寫入資料编辑

寫入資料前,先清空目標表,再將資料寫入。

注:該寫入方式可能會造成目標表短暫不可用。

3.1 場景模擬

1)待寫入資料如下圖所示:

37.png

2)目標表資料如下圖所示:

38.png

3.2 範例

1)以「資料同步」節點為例,展示該場景的效果;資料來源資料去向與映射Tab中,具體設定與 2.1.2 節相同,本節不再詳細說明。

2)寫入方式選擇清空目標表,再寫入資料。如下圖所示:

1724229549901042.png

3)任務運作後,目標表資料如下圖所示:

40.png

4. 基於標識欄位,新增/修改/刪除資料编辑

該寫入方式可實現資料的新增、修改、刪除(這三種效果可單獨實現也可組合實現)

41.png

1)4.0.28 及之後版本,若使用者為以下場景時(來源表和目標表都不是簡道雲資料):

  • 沒有標識欄位,希望將篩選出的資料,做追加或者更新或者刪除操作(無標識欄位時僅允許選擇一種操作類型)。

  • 資料已經有了標識欄位和標識值,需要對資料進行追加/更新/刪除操作。

可透過「資料同步」節點實現,詳情請參見:資料同步-基於標識欄位,追加/更新/刪除資料

2)該寫入方式通常與 資料比對 算子配合使用,具體範例及效果請參見:資料比對典型範例