定時管道DDL同步

1.1 版本

1.2 應用場景

定時管道任務同步應用資料源時，源端表結構可能因業務調整發生 DDL 變更（增刪表、增刪欄位等）。若未即時感知處理，易導緻同步異常、資料不一緻，影響下遊業務。

使用者需快速感知該變化，且支援手動更新映射或自動同步部分 DDL 變化，靈活完成適配調整。

1.3 功能簡介

源端 DDL 變化感知：若源表&源表結構發生變化，在任務詳情頁可提示對應的變化內容。

同步源表結構變化：對於部分源端的 DDL 變化，開啟「同步源表結構變化」設定，無需手動更新映射，運作時可自動同步變更內容。

可檢查的源表及源表結構變化及處理方式如下表所示：

進入任務詳情頁，若來源表結構變化，則會提示使用者有 x 張表映射可更新。點選「篩選」可篩選出表映射可以更新的表。如下圖所示：

點選「編輯」按鈕進入編輯介面。如下圖所示：

3.1 更新欄位映射

若來源表結構變化，點選「更新映射」更新來源表結構。如下圖所示：

「更新映射」表會展示來源欄位的變化情況，點選「更新映射與目標表」會直接進入「更新目標表」頁面。更新目標表內容請參見本文 3.2 節。

點選「更新映射」後，會先更新來源表的欄位映射，並在目標表中標紅映射不一緻的內容。需要點選「更新目標表」按鈕，對目標表進行調整。更新目標表詳情請參見本文 3.2 節。

3.2 更新目標表

若來源表欄位相較之前有變化，則可以對目標表進行調整，可以選擇已有目標表欄位、也可以手動輸入新欄位，確認對應映射關系變化後，即可對應生成目標表執行的 DDL 語句並執行。

• 支援對目標表建立、刪除欄位、重新命名欄位；

• 支援修改目標表欄位類型、長度精度；

• 支援為目標表配置非空、主鍵、注釋；

• 支援展示更改記錄、還原修改；

1）點選「更新目標表」，彈窗中展示目標表實際內容和順序，可對欄位結構進行調整。如下圖所示：

2）支援「一鍵帶入」功能。以「欄位名」為唯一標識（同名映射邏輯），比對來源表和目標表結構；只要來源表與目標表結構不一緻，就支援將來源表結構一鍵帶入目標表。

更改記錄內容如下：

注：點選「一鍵帶入」後，在此介面上更改內容導緻來源表與目標表結構不一緻，將不會出現「一鍵帶入」提示。

3）將根據更新內容生成更新語句，點選「執行更新語句」。如下圖所示：

對於部分源端表結構變化，支援開啟「同步源表結構變化」功能，開啟後，無需手動更新映射，任務運作時可自動同步。如下圖所示：

開啟後，變更點同步情況如下表所示：

任務運作後，在「運作記錄」中查看運作日誌，查看源表結構變更內容。如下圖所示：