實時管道任務範例

本文以 MySQL 資料同步為例，將 demotest 資料庫中的「訂單資訊」、「庫存資訊」、「成本中心對照表」實時同步至 demo1 資料庫中。

提示:

本章內容適用於 4.2.11.3 及之後版本；4.2.11.3 之前版本，請參見：曆史文檔

2.1 準備工作

需準備一個獨立部署的 FDL 工程，該工程已註冊 資料管道相關功能點 

注：對外 Demo 平台上已準備好環境，可到 對外 Demo 平台 上從本文 2.2 節步驟開始建立管道任務。

2.2 建立管道任務

進入 FDL 工程，點選「資料管道」，建立一個管道任務。如下圖所示：

2.3 配置管道任務

2.3.1 選擇資料來源

資料源選擇 fdl_demotest 資料連結後，點選右側的「資料源權限檢查」按鈕，可以查看資料源是否有日誌讀取權限。

同步類型選擇「存量+增量同步」，先對所有存量資料同步，然後持續同步新增變化。

同步物件選擇 demotest 資料庫中的「訂單資訊」、「庫存資訊」、「成本中心對照表」。如下圖所示：

更多設定項介紹請參見：配置管道任務-選擇資料來源

2.3.2 選擇去向

更多設定項介紹請參見：配置管道任務-選擇資料去向

1）如下圖所示：

2）點選「下一步」。

2.3.3 表欄位映射

1）我們發現，目標表中表名稱標紅，這是因為目標表名稱中不能包含中文、特殊字元。

依次為待同步的三張表：修改目標表名稱，為目標表設定邏輯主鍵，如下圖所示：

「成本中心對照表」對應的目標表為cost，「訂單資訊」表對應的目標表為order，「庫存資訊」表對應的目標表為stock_test。

2.3.2 節步驟中，我們開啟了「同步時標記時間戳」按鈕、「目標端執行邏輯刪除」，目標表中新增_fdl_update_timestamp、_fdl_marked_deleted欄位。如下圖所示：

本步驟中，目標表可以選擇已存在表、可批量修改表名、主鍵相關說明等，詳情請參見：配置管道任務-表欄位映射

2）點選「下一步」。

2.3.4 管道控制

如下圖所示：

更多設定項介紹請參見：配置管道任務-管道控制

2.4 效果查看

1）可查看讀取行數、寫入行數。如下圖所示：

可看到「庫存資訊」表同步時產生 1 條髒資料，可參考 文檔 對髒資料進行處理。

2）demo1 資料庫中可查看到已同步的 3 張表。

「成本中心對照表」對應的目標表 cost 表資訊如下圖所示：

3）demotest 資料庫中的「成本中心對照表」中：

• 刪除 collid 為 1.01.02 的資料。

• collid 為 1.01.03 的資料，fname 改為產品研發部。

• 新增 test 欄位。

demo1 資料庫中的 cost 表如下圖所示：

QQ 信箱收到源表結構變化的資訊：

2.5 管道任務維運

點選「任務維運>管道任務>任務管理」，可查看任務運作狀態、資料同步效能、檢查異常情況、以及對異常進行處理等。如下圖所示：

詳情請參見：管道任務維運

2.6 修改管道任務配置

實時管道任務運作一段時間後，想新增/刪除表物件、修改任務控制（2.3.4節）、修改進階設定（2.3.2節）、修改同步方式等，可參考 維度表輸入&資料聯動 進行操作。