1. 概述
本文為你說明「資料開發」和「資料管道」的差別，幫助您更快地瞭解這兩個模組。
2. 資料開發與資料管道的差別
| 差別項 | 定時任務 | 資料管道 |
|---|---|---|
| 應用場景 | 視覺化多源異構資料整合，高效搭建數倉，消除資料孤島、資料口徑等問題
| 在資料庫資料量大或表結構規範的情況下，實現高效能的「實時資料同步」
|
| 同步能力 | 單表的定時同步 支援全量+增量同步 | 單表、多表、整庫、多對一的實時同步 支援全量+增量同步 |
| 對資料的處理 | 可使用節點、算子對資料進行清洗 範例參考：最佳實踐合集 | 表資料原樣同步到目標表中，不支援對資料進行計算處理 範例參考：管道任務範例 |
| 支援的資料源 | 支援同步的資料類型如下：
| 支援同步的資料類型：資料庫資料 |
| 環境準備 | 不需要特別準備環境 | 需要準備 資料庫環境、部署Kafka（Kafka建議安裝在 Linux 中） |
| 來源端表結構發生變化 | 當進行定時任務開發時，能夠提示來源端資料表的 DDL 變化，並且將變化通知給指定使用者，使用者需手動進行任務調整 | 來源端結構可能因業務調整等原因發生變動，如增刪表、增刪欄位、修改欄位名稱、修改欄位類型等，此時，目標端可以自動同步這些來源端的調整，不需要人為的進行資料表的調整 |
| 來源端表資料發生變化（增/刪/改） | 根據實際場景配置方案，定時同步資料變化 | 實時同步到目標表 |
| 任務中斷後處理機制 | 不支援斷點續傳 | 若管道任務失敗，支援斷點續傳：若全量同步未完成，會從頭全量同步；若全量同步已完成，會從斷點開始 斷點續傳範例： 管道任務在03-21日讀取了資料，03-23日停掉，03-27日啟動，03-23到03-27日的資料會同步過去 |
注：資料管道和資料開發結合使用的最佳實踐請參見：業務系統資料定期歸檔
