資料同步概述

1.1 應用場景

使用者同步資料時，在以下場景中，可使用「資料同步」節點實現：

• 資料無需進行復雜的資料處理，希望快速完成資料表的同步。

• 目標庫計算能力較強的場景/資料量非常大的場景中（單表資料量超過 1kw 時），將資料表從來源端同步到目標端。

1.2 功能簡介

1）對接多種資料源

可將資料從任意終端到任意終端。詳情請參見：任意終端到任意終端

例如：可將簡道雲資料同步到資料庫中；資料庫資料儲存為檔案資料等。

2）快速實現資料表的同步

透過「設定需要抽取的資料」>「設定資料去向及欄位映射」>「設定資料寫入方式」將來源端資料直接抽取並寫入目標資料庫中。

功能	描述
資料來源	設定源表，從哪個資料庫的哪張表抽取資料，可寫 SQL 語句；4.1.3 及之後版本，支援傳回儲存程式結果集作為表輸入
資料去向與映射	設定目標表，抽取的資料儲存到哪個資料庫的哪張表下，可存放到已有的表，也支援自動建立一個表；設定源表跟目標表之間的欄位映射關係，支援手動調整映射關係
寫入方式	有三種寫入方式：追加寫入資料、清空目標表，再寫入資料、基於標識欄位，追加/更新/刪除資料

• 擁有能夠進行資料開發的 FineDataLink 系統使用者：使用者管理

• 對使用者進行了資料開發權限分配：資料平台使用權限、定時任務管理權限

• 配置了需要接入 FineDataLink 作為資料來源的資料連結，詳情參見：建立並管理資料源

• 支援結構化、半結構化、無結構化（OSS、TXT等，要求具體同步資料必須抽象為結構化資料）資料的同步。即僅支援傳輸能夠抽象為邏輯二維表的資料同步，不支援同步OSS中存放完全非結構化的資料（例如一段MP3）。

• 「資料同步」節點實現的是資料的定時同步，若需要資料的實時同步，詳情請參見：資料管道概述

• 支援透過設定「寫入方式+依賴主鍵+更新策略」來保證同步後資料不重複。詳情可參見：数据同步方案概述

• 不同資料源對資料開發功能的支援不同，詳情請參見：定时任务数据源功能限制说明

「資料同步」節點可以將資料從來源端抽取到目標端，且進行簡單的資料處理。設定介面如下圖所示：

注：若使用者想要同步的資料需要進行一些複雜资料清理處理，建議使用 数据转换概述

4.0.28 及之後版本，若使用者為以下場景時（來源表和目標表都不是簡道雲資料）：

• 沒有標識欄位，希望將篩選出的資料，做追加或者更新或者刪除操作（無標識欄位時僅允許選擇一種操作類型）。

• 資料已經有了標識欄位和標識值，需要對資料進行追加/更新/刪除操作。

可透過「資料同步」節點實現，詳情請參見：数据同步-基于标识字段，新增/修改/删除数据