實時管道任務使用說明

本文講述如何使用資料管道功能。

注1：配置管道任務完整範例請參見：管道任務範例

注2：管道任務的來源端若為 MySQL、SQLServer、Oracle，若同一個庫中的多張表都需要實時同步，建議在一個管道任務中實現；若同一個庫中的多張表，每張表單獨配置一個管道任務，資料庫將承受較大壓力。

建立管道任務、複製管道任務場景：

1）配置管道任務-選擇資料來源 步驟中：

• 若選擇「存量+增量同步」類型：先對所有存量資料同步，然後持續同步新增變化。

任務初次運作時，將完整運作全量同步+增量同步；任務中斷或暫停後，再次運作時，如果所有表的全量同步都已完成，則將從增量的斷點開始，直接運作增量同步。

• 若選擇僅增量同步類型，具體說明參見文檔：配置管道任務-選擇資料來源
  

2）目標表若選擇已存在表，目標表結構（表名和欄位名）和來源表一致：首次資料同步會清空目標資料表資料，然後全量同步資料，此後增量同步。

暫停管道任務，進入編輯介面：

1）新增來源表：新增的表將按照所選的同步類型進行同步。

• 同步類型為存量+增量：新增的表需要進行存量同步，那麼增量同步將在後台懸置，等新增的表存量跑完，再繼續開始增量

• 同步類型為僅增量：

• 修改了增量起點：所有表（包含新增的表）按照指定增量起點進行同步

• 沒有修改增量起點：新增表，按照任務內建斷點進行同步

2）刪除來源表：刪除同步物件並儲存時，將同時刪除此物件相關的所有聯動資訊，任務啟動時，將不再同步對應表。

處理髒資料 （具體詳情點選左側連結）：

1）重試髒資料：對單表和指定多表，重試功能會將快取的髒資料進行再次提交，並更新資料量統計。

2）重新同步：會將目標端表清空並重新執行全量同步、在全量同步結束後滾入增量同步。

開啟同步源表結構按鈕、選擇邏輯刪除：

資料管道-同步源表結構變化、資料管道邏輯刪除說明

開啟失敗重試

「失敗重試」邏輯說明：

• 若全量同步未完成，會從頭全量同步；若全量同步已完成，會從斷點開始；即全量階段沒有斷點，只有增量階段有斷點同步。

• 管道任務只要重新運作了，都是按第一次開始重新計算。

注1：若工程中包含管道任務，關閉工程不建議使用 kill -9 pid 語句，會導致管道任務異常，建議使用 kill pid 語句。詳情請參見：關閉或重啟FineDataLink工程

注2：4.1.6.3 及之後版本，管道任務禁止被多人同時編輯。詳情請參見：任務禁止被多人同時編輯

操作	參考文檔
重新命名、行動、複製、匯出、刪除管道任務	任務列表 管道任務匯入匯出
修改管道任務：暫停管道任務後，可修改管道任務 注：修改範圍有限，若某些設定項無法修改，可複製管道任務	任務運作狀況
查看任務運作狀況、查看日誌、處理髒資料	單個管道任務維運概述
想對所有管道任務進行統一的管理，比如停止任務、刪除任務、檢查任務運作狀態、同步效能、對異常情況進行監視和處理、批量暫停任務等	管道任務維運
管道任務併發數說明 管道任務運作後，新增/刪除表 原任務無法運作，需要重新配置任務，進入編輯任務介面，發現某設定項不能修改怎麼辦	資料管道維運指導
記錄資料管道相關資訊的 FineDB 資料庫表	資料管道
管道任務的查看、編輯、授權權限	管道任務管理權限 管道任務授權權限
資料管道問題合集	資料管道FAQ 資料管道問題排查
使用者想了解某個管道任務是誰編輯的、編輯時間、斷點相關資訊等，FDL 工程內的 管道任務維運 無法滿足需求	BI儀表板展示管道任務編輯資訊
使用者的管道任務實現上百張表的實時同步，且存在部分來源表和目標表的表名不同、多張來源表同步到一張目標表等情況，導緻使用者在管理來源表和目標表的對應關系時（例如重構任務）較為困難 管道任務的來源表在 FineDB 的 fine_dp_pipeline_task 表中記錄	匯出管道任務中來源表及對應的目標表資訊