1. 概述
1.1 應用場景
使用者同步資料時,在以下場景中,可使用「資料同步」節點實現:
資料無需進行復雜的資料處理,希望快速完成資料表的同步。
目標庫計算能力較強的場景/資料量非常大的場景中(單表資料量超過 1kw 時),將資料表從來源端同步到目標端。
1.2 功能簡介
1)對接多種資料源
可將資料從任意終端到任意終端。詳情請參見:任意終端到任意終端
例如:可將簡道雲資料同步到資料庫中;資料庫資料儲存為檔案資料等。
2)快速實現資料表的同步
透過「設定需要抽取的資料」>「設定資料去向及欄位映射」>「設定資料寫入方式」將來源端資料直接抽取並寫入目標資料庫中。
功能 | 描述 |
---|---|
資料來源 | 設定源表,從哪個資料庫的哪張表抽取資料,可寫 SQL 語句;4.1.3 及之後版本,支援傳回儲存程式結果集作為表輸入 |
資料去向與映射 | 設定目標表,抽取的資料儲存到哪個資料庫的哪張表下,可存放到已有的表,也支援自動建立一個表;設定源表跟目標表之間的欄位映射關係,支援手動調整映射關係 |
寫入方式 | 有三種寫入方式:追加寫入資料、清空目標表,再寫入資料、基於標識欄位,追加/更新/刪除資料 |

2. 前提條件
3. 使用限制
支援結構化、半結構化、無結構化(OSS、TXT等,要求具體同步資料必須抽象為結構化資料)資料的同步。即僅支援傳輸能夠抽象為邏輯二維表的資料同步,不支援同步OSS中存放完全非結構化的資料(例如一段MP3)。
「資料同步」節點實現的是資料的定時同步,若需要資料的實時同步,詳情請參見:資料管道概述
支援透過設定「寫入方式+依賴主鍵+更新策略」來保證同步後資料不重複。詳情可參見:数据同步方案概述
不同資料源對資料開發功能的支援不同,詳情請參見:定时任务数据源功能限制说明
4. 功能概述
「資料同步」節點可以將資料從來源端抽取到目標端,且進行簡單的資料處理。設定介面如下圖所示:
注:若使用者想要同步的資料需要進行一些複雜资料清理處理,建議使用 数据转换概述
步驟 | 說明 |
---|---|
步驟一:設定資料來源(必做) | 1)目前支援關係型數據、非關係型資料、API資料、檔案資料等 30 多種資料源之間的資料同步,透過定義「資料來源」和「資料去向」實現任意結構化、半結構化資料之間的資料傳輸 支援的資料源詳情請參見:資料開發支援的資料源 2)「資料來源」Tab 頁,各設定項說明請參見:数据同步-数据来源 |
步驟二:設定資料去向與映射(必做) | 各設定項說明請參見:数据同步-数据去向与映射 注意點: 4.0.18 版本移除了「比對欄位」和「更新策略」,透過「数据比对功能说明」+「DB表输出」的組合方式,可完成增量插入、刪除、更新的操作。4.0.18 之前版本使用者請查看 歷史版本 |
步驟三:設定寫入方式(必做) | 各設定項說明請參見:数据同步-写入方式 |
5. 不同場景中使用說明
4.0.28 及之後版本,若使用者為以下場景時(來源表和目標表都不是簡道雲資料):
沒有標識欄位,希望將篩選出的資料,做追加或者更新或者刪除操作(無標識欄位時僅允許選擇一種操作類型)。
資料已經有了標識欄位和標識值,需要對資料進行追加/更新/刪除操作。
可透過「資料同步」節點實現,詳情請參見:数据同步-基于标识字段,新增/修改/删除数据
應用場景 | 具體介紹 | 參考文檔 |
---|---|---|
簡單資料同步 | 只使用「資料同步」節點,對接各種資料源,完成資料同步 | |
資料的增量同步 | 與參數配合使用,實現資料的增量同步 | 数据增量更新同步 |
資料同步前/後進行判斷 | 不同條件,執行不同的「資料同步」節點;需要與「參數指派」節點、「條件分支」節點配合使用 | |
可與 连线执行判断 功能配合使用,根據「資料同步」節點執行情況(失敗、成功、無條件),判斷執行哪個下游節點 | 数据抽取失败后进行数据回滚 | |
資料匯出至 FineBI | 將資料匯出至 FineBI | 独立部署下定时任务结果输出至FineBI |