反饋已提交

網絡繁忙

當前為10.0版本文檔,更多實例內容將在最新幫助文檔中展現,點選跳轉至 最新版幫助文檔

離線同步

一、概述

  1. 當使用者需要將資料從一個資料庫抽取到另一個資料庫時,就可以使用離線同步節點。

二、操作步驟

1
建立任務。
  1. 在數據平臺中創建一個任務,點選【數據平台】→【ETL作業】→【資料開發】→【任務列表】→【ETL任務】,創建完成後雙擊進入任務設計頁面,如下圖所示。

image.png

2
拖入離線同步節點。
  1. 拖入離線同步節點,如下圖所示。

image (1).png

3
配置資料來源。
  1. 雙擊【離線同步】進入它的詳細設置頁面,配置資料來源,如下圖所示。

  2. 點選【資料預覽】使用者可檢視當前語句對應的資料表內容,但預覽資料數不超過5,可能會與實際資料存在差異。如下圖所示。

    資料來源型別:選擇資料來源型別,當前可選擇的資料來源有:MySQL、SQL Server、Oracle、PostgreSQL、Rest API(注:RestAPI資料來源的設定方式不同於其他資料來源,可單獨參考:資料來源型別為RestAPI)。

    資料連結:選擇對應的資料連結。

    SQL語句:輸入取數的 SQL 語句。


 image (2).png

image (3).png

4
配置資料去向。
  1. 資料來源型別:選擇目標資料庫用來存放抽取過來的資料,當前可選擇的資料庫型別有:MySQL、SQL Server、Oracle、PostgreSQL 。

  2. 資料連結:選擇資料去向對應的資料連結。

  3. 目標表:可選擇【已存在表】和【自動建表】,詳細請參見本文 2.5 和 2.6節。

  4. 寫入策略和主鍵沖突:具體說明如下表。

  5. 註:資料量較大情況下,“直接將資料寫入目標表”會比“清空目標表,再寫入資料”執行效率更高,因為後者方案需要先清空目標表資料,再將來源表的資料全量抽取至目標表中;前者方案中,直接利用目標表的主鍵,將來源表資料和目標表資料進行比對,若資料有變化即更新,若資料無變化則不更新,整體更新的資料會更少,所以抽數速度更快。

寫入策略

主鍵沖突

含義

直接將資料寫入目標表

遇主鍵沖突,停止寫入並報錯

遇到寫入的資料和目標表中的資料主鍵沖突時,報錯並停止任務執行

遇主鍵沖突,忽略輸入源的相同主鍵資料

遇到寫入的資料和目標表中的資料主鍵沖突時,忽略主鍵相同的資料行,插入主鍵不相同的資料

遇主鍵沖突,更新目標表的相同主鍵資料

遇到寫入的資料和目標表中的資料主鍵沖突時,將寫入的資料覆蓋目標庫中主鍵相同的資料

表內無主鍵,無須設定主鍵沖突處理策略

無主鍵,不設定主鍵沖突策略

清空目標表,再寫入資料

-

先將目標表中的資料清空,然後再將資料寫入

 image (4).png

5
配置資料去向--目标表選擇【已存在表】。
  1. 在目標資料庫中選擇一張已存在的資料表作為目標表,要注意的是目標表的表結構要與抽取過來的資料表表結構一緻。

  2. 選擇【已存在表】,並從目標資料庫中選擇出目標表test1,如下圖所示。

image (5).png

6
配置資料去向--目标表選擇【自動建表】。
  1. 系統為使用者在目標資料庫中建立一張表作為目標表,且自動建立的目標表與抽取過來的資料表表結構一緻。

  2. 選擇【自動建表】,並給新建的表命名。如下圖所示。

  3. 點選【檢視建表語句】,可以檢視系統為了建表自動生成的語句,如下圖所示。

  4. 註1:表名稱可以為數字、字母、下劃線、不允許為中文、特殊字元。

  5. 註2:表名稱不允許與已存在的表重名,若重名系統則會提示:資料庫記憶體在同名表。

  6. 註3:使用者可以點選下方的【複制】按鈕直接複制語句,並用複制的語句在資料庫中直接新建表。但在資料庫自行完成建表後,目標表需要切換為【已存在表】。

image (6).png

 

image (7).png

7
 配置欄位對映
  1. 配置好資料來源和資料去向後,點選【下一步】。

  2. 進入欄位對映介面。系統會自動將欄位名和欄位型別相同的欄位匹配做對映,若使用者需要匹配的欄位名不同,可以手動調整匹配關係。

  3. 使用者可透過【編輯對映】按鈕對欄位進行刪除操作。

  4. 使用者可透過【重新獲取】按鈕對欄位進行重新獲取操作

  5. 點選【確定】,離線同步設定完成,具體操作如下圖所示。

1.gif

8
執行離線同步
  1. 滑鼠右擊離線同步節點,選擇執行節點。若執行日誌無報錯,即執行成功。如下圖所示。

image (8).png

9
檢視同步結果。
  1. 連結目標資料庫,可以看到對應目標表test10中已同步資料。如下圖。

image (9).png


附件列表


主題: ETL作業(體驗功能)
已經是第一篇
已經是最後一篇
  • 有幫助
  • 沒幫助
  • 只是瀏覽
  • 圖片不清晰
  • 用語看不懂
  • 功能說明看不懂
  • 操作說明太簡單
  • 內容有錯誤

文 檔回 饋

滑鼠選中內容,快速回饋問題

滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。

不再提示

10s後關閉