配置實時管道任務-進階設定

1.1 版本

1.2 更多歷史版本

1.3 功能簡介

「選擇去向」步驟中，需要設定實時同步資料要存放的位置、目標表是否追加時間戳欄位（資料變化時間）、來源端表結構變化，目標端是否跟隨變化等。如下圖所示：

2.1 源端刪除資料

1）兩種方式說明如下：

• 目標端執行物理刪除：來源表刪除資料，目標表中也會直接刪除。

• 目標端執行邏輯刪除：來源表刪除資料，目標表將新增一個名稱為_fdl_marked_deleted的布林型欄位（欄位預設為false），用於記錄資料刪除狀態。來源資料表刪除了一筆資料，此時同步至目標表，目標表不進行物理刪除，而是將_fdl_marked_deleted欄位更新為 true 。

4.1.7.2 及之後版本，目標表選擇已存在表且已存在表包含「_fdl_marked_deleted」欄位時，支援使用源端邏輯刪除功能；4.1.7.2 及之後版本，若未開啟邏輯刪除&目標表為已存在表&目標表包含「_fdl_marked_deleted」欄位時，該欄位後續將傳空值。

若目標端執行「邏輯刪除」，說明如下：

2）需注意：

• 開啟邏輯刪除時，4.0.23 版本進行資料初始化全表更新，對目標端清表重寫，大大提升了資料同步效率。
  

• 如果後續有和目標表表中已存在主鍵相同的資料重新寫入，不插入新資料，而是更新該資料，並將之前已經標記為刪除的資料標記為未刪除。

• GaussDB 資料庫及 PostgreSQL9.4 以下（含9.4）版本資料庫，不支援「目標端執行邏輯刪除」。

2.2 同步時標記時間戳

勾選「同步時標記時間戳」按鈕，所有目標表將新增一個名稱為_fdl_update_timestamp的長整數型態欄位，以毫秒級時間戳的形式記錄資料在資料庫中實際新增和更新的時間（資料庫所在時間）。

需注意：

• 勾選「目標端執行邏輯刪除」和「同步時標記時間戳」後預設作用在該管道任務的所有資料表，不支援僅設定管道任務中的一張表。

• 時間戳同步在資料完全同步後執行。若資料量較大，資料同步程式中時間戳可能暫時為空。

若開啟「同步時標記時間戳」，說明如下：

若未開啟「同步時標記時間戳」&目標表包含「_fdl_update_timestamp」欄位，該欄位後續將傳空值。

範例：

管道任務中勾選了「同步時標記時間戳」、選擇目標端執行邏輯刪除，如果來源資料庫資料表「S訂單」中刪除了一條訂單 ID 為 10257 的資料，如下圖所示：

在目標資料表中，訂單 ID 為 10257 的資料不會被刪除，而是將對應「_fdl_marked_deleted」欄位修改為 true，同時「_fdl_update_timestamp」欄位時間戳修改為刪除欄位的時間戳，如下圖所示：

注：「目標端執行邏輯刪除」、「同步時標記時間戳」功能僅在管道任務建立和暫存狀態時可進行配置，運作中、暫停狀態的任務不允許調整配置。

2.3 同步源表結構變化

在使用管道任務進行資料實時同步程式中，源端表結構可能因業務調整等原因發生變動，如增刪表、增刪欄位、修改欄位名稱、修改欄位類型等，此時希望在目標側的表可以自動同步這些源端的調整。

詳情參見：同步源表結構變化

注：選擇資料來源 步驟中配置的分組表，不支援「同步源表結構變化」功能。

若未開啟「同步源表結構變化」，則若來源資料結構發生了變化，管道任務執行方式如下所示：

請參見：配置管道任務-表欄位映射