1.1 版本

1.2 功能簡介

本文介紹「資料同步」設定寫入方式或者使用「資料轉換-DB表匯出」設定寫入方式時配置項說明。

「寫入方式」介面如下圖所示：

寫入方式有三種：

注1：不同資料庫支援的寫入方式有部分限制，具體請參見：定時任務資料源功能限制說明

注2：4.1.3 及之後版本，目標表為 Hive、星環 TRANSWARP INCEPTOR 時，支援分割槽寫入。詳情請參見：讀取、建立、寫入分割槽表

2.1 主鍵映射

建立「來源端-目標端」的資料行對應關係，設定步驟如下圖所示：

1）目標表中若存在物理主鍵/自動建表配置了主鍵，將直接根據目標表物理主鍵，自動生成主鍵映射行以確定資料唯一性。

2）目標表中若無物理主鍵：

• 目標表是自動建表生成的：自動建表時，在「欄位映射」處可以手動設定單個或多個欄位為物理主鍵。

• 目標表是已存在表：「主鍵映射」處，選擇欄位作為邏輯主鍵映射以確定資料唯一性，若為空則直接追加寫入資料。

2.2 主鍵衝突策略

注：目標端為 Hive 時，不支援「主鍵衝突策略」。

滿足以下任一條件，需要選擇「主鍵衝突策略」：

• 目標表存在物理主鍵。

• 目標表不存在物理主鍵，但配置了邏輯主鍵。

主鍵衝突策略有三種：

• 主鍵相同，改寫目標表的資料。

• 主鍵相同，忽略輸入源的資料。

• 主鍵相同，記錄為髒資料。

直接先把目標表清空掉，然後再寫入資料；有無主鍵均可以選擇。

目標端為簡道雲時，不支援該寫入方式。

4.0.29 以及之後的版本：

1）當來源表沒有主鍵時，目標表存在主鍵，進行清表重寫時，先清空目標表，再對目標表進行寫入；

2）如果此時來源表存在兩條主鍵相同的資料，後一條會改寫前一條的記錄；

4.1 功能說明

注1：目標端為 Hive 時，不支援該寫入方式。

注2：新增/更新/刪除可勾選任意一個或多個。

寫入方式：

寫入方式勾選「刪除」時，可選擇物理刪除/邏輯刪除：

• 邏輯刪除：不實際刪除資料，標記刪除資料。

• 物理刪除：實際刪除資料。

兩種刪除方式的具體效果可參見：物理删除和逻辑删除的区别

標識欄位/標識值：

1）透過標識欄位和標識值篩選出需要新增/更新/刪除的資料。

2）若使用了「数据比对」算子，則自動讀取 fdl_comparison_type 作為標識欄位，且自動讀取標識欄位的值作為標識值。

3）表匯出只選擇新增/更新/刪除其中一個時，「標識欄位」可不填，不填則對讀取的所有資料進行新增或更新或刪除。

主鍵映射：

詳情請參考本文 2.1 節說明。

1）出現條件：寫入方式中勾選了「更新」或「刪除」。

2）寫入方式中勾選了「更新」或「刪除」時，「主鍵映射」處不允許為空。

4.2 最佳實踐

1）通常数据比对+DB 表匯出結合使用，詳情參見：資料比對典型範例

2）單個資料同步節點使用場景：

• 使用者希望將篩選出的資料，只做新增/更新/刪除操作。

• 使用者資料已經有了標識欄位和標識值，需要對資料進行新增/更新/刪除操作。

詳情請參見：資料同步-基於標識欄位，新增/更新/刪除資料

比如來源表和目標表都有 D 列的部分資料為 NULL：

設定「寫入方式」為追加寫入且 A、B、C、D 都是邏輯主鍵，如下圖所示：

此時運作結果為若 D 列不為 NULL，則改寫目標表資料，若有一欄，此處為 D 列為 NULL，則不會遵循改寫邏輯，會追加寫入。