反饋已提交
網絡繁忙
當使用者需要將資料從一個資料庫抽取到另一個資料庫時,就可以使用離線同步節點。
在數據平臺中創建一個任務,點選【數據平台】→【ETL作業】→【資料開發】→【任務列表】→【ETL任務】,創建完成後雙擊進入任務設計頁面,如下圖所示。
拖入離線同步節點,如下圖所示。
雙擊【離線同步】進入它的詳細設置頁面,配置資料來源,如下圖所示。
點選【資料預覽】使用者可檢視當前語句對應的資料表內容,但預覽資料列數不超過5列,可能會與實際資料存在差異。如下圖所示。
資料來源型別:選擇資料來源型別,當前可選擇的資料來源有:MySQL、SQL Server、Oracle、PostgreSQL、Rest API(注:RestAPI資料來源的設定方式不同於其他資料來源,可單獨參考:資料來源型別為RestAPI)。
資料連結:選擇對應的資料連結。
SQL語句:輸入取數的 SQL 語句。
資料來源型別:選擇目標資料庫用來存放抽取過來的資料,當前可選擇的資料庫型別有:MySQL、SQL Server、Oracle、PostgreSQL 。
資料連結:選擇資料去向對應的資料連結。
目標表:可選擇【已存在表】和【自動建表】,詳細請參見本文 2.5 和 2.6節。
寫入策略和主鍵沖突:具體說明如下表。
註:資料量較大情況下,“直接將資料寫入目標表”會比“清空目標表,再寫入資料”執行效率更高,因為後者方案需要先清空目標表資料,再將來源表的資料全量抽取至目標表中;前者方案中,直接利用目標表的主鍵,將來源表資料和目標表資料進行比對,若資料有變化即更新,若資料無變化則不更新,整體更新的資料會更少,所以抽數速度更快。
寫入策略
主鍵沖突
含義
直接將資料寫入目標表
遇主鍵沖突,停止寫入並報錯
遇到寫入的資料和目標表中的資料主鍵沖突時,報錯並停止任務執行
遇主鍵沖突,忽略輸入源的相同主鍵資料
遇到寫入的資料和目標表中的資料主鍵沖突時,忽略主鍵相同的資料行,插入主鍵不相同的資料
遇主鍵沖突,更新目標表的相同主鍵資料
遇到寫入的資料和目標表中的資料主鍵沖突時,將寫入的資料覆蓋目標庫中主鍵相同的資料
表內無主鍵,無須設定主鍵沖突處理策略
無主鍵,不設定主鍵沖突策略
清空目標表,再寫入資料
-
先將目標表中的資料清空,然後再將資料寫入
在目標資料庫中選擇一張已存在的資料表作為目標表,要注意的是目標表的表結構要與抽取過來的資料表表結構一緻。
選擇【已存在表】,並從目標資料庫中選擇出目標表test1,如下圖所示。
系統為使用者在目標資料庫中建立一張表作為目標表,且自動建立的目標表與抽取過來的資料表表結構一緻。
選擇【自動建表】,並給新建的表命名。如下圖所示。
點選【檢視建表語句】,可以檢視系統為了建表自動生成的語句,如下圖所示。
註1:表名稱可以為數字、字母、下劃線、不允許為中文、特殊字元。
註2:表名稱不允許與已存在的表重名,若重名系統則會提示:資料庫記憶體在同名表。
註3:使用者可以點選下方的【複制】按鈕直接複制語句,並用複制的語句在資料庫中直接新建表。但在資料庫自行完成建表後,目標表需要切換為【已存在表】。
配置好資料來源和資料去向後,點選【下一步】。
進入欄位對映介面。系統會自動將欄位名和欄位型別相同的欄位匹配做對映,若使用者需要匹配的欄位名不同,可以手動調整匹配關係。
使用者可透過【編輯對映】按鈕對欄位進行刪除操作。
使用者可透過【重新獲取】按鈕對欄位進行重新獲取操作
點選【確定】,離線同步設定完成,具體操作如下圖所示。
滑鼠右擊離線同步節點,選擇【執行節點】。若執行日誌無報錯,即執行成功。如下圖所示。
連結目標資料庫,可以看到對應目標表test10中已同步資料。如下圖。
文 檔回 饋
滑鼠選中內容,快速回饋問題
滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。
不再提示
10s後關閉