上下合并

1.1 版本

1.2 應用場景

使用者存在多個業務系統的表資料，這些表資料中存在相同欄位或相同含義的欄位，需要將不同的來源資料上下合併到一個表匯出。使用者目前使用「Spark SQL」算子實現，比較繁瑣，希望能無程式碼實現。

1.3 功能簡介

新增「上下合併」算子，可對多張表進行上下行合併，匯出一張合併表。如下圖所示：

注：「上下合併」算子可手動匹配相同含義的欄位進行連接，並不要求匹配欄位完全一致。

2.1 設定項說明

「上下合併」算子設定介面如下圖所示：

「資料預覽」Tab 頁中，預設預覽前 1000 筆資料，每頁預設 20 筆資料。

2.2 特殊場景說明

1）使用者若希望兩個相同名稱的欄位在上下合併時不合並，手動修改映射，將某張合併表的欄位改為空即可。如下圖所示：

2）若在已配置完成的「上下合併」算子前，再加入一個輸入算子，需要先點選下「上下合併」算子，「上下合併」算子才會重新整理配置。

3.1 準備資料

範例表資料下載：簽約表範例資料.zip

某公司存在兩張簽約資料表，希望能將資料合併到一張表中方便後續分析。

3.2 讀取要合併的資料

1）建立定時任務，拖入「資料轉換」節點，進入「資料轉換」節點。

2）拖入「DB表輸入」算子，讀取「簽約表-上海」資料。如下圖所示：

3）再拖入一個「DB表輸入」算子，讀取「簽約表-北京」資料。如下圖所示：

3.3 上下合併表資料

1）拖入「上下合併」算子，與兩個「DB表輸入」連結。如下圖所示：

2）此時「上下合併」算子設定介面如下圖所示：

合併方式選擇「合併去重」，不保留不同合併表中的重複記錄。

FDL 會自動匹配一致的欄位，欄位若不一致，需要將相同含義的欄位進行手動匹配。合同總價（人民幣）列，選擇合同總價欄位；簽約地區列，選擇銷售地區。最後效果如下圖所示：

3）點選「資料預覽」，如下圖所示：

3.4 匯出資料

拖入「DB表匯出」算子，將合併後的資料匯出。如下圖所示：

3.5 效果查看

點選「運作」按鈕，運作成功後，如下圖所示：

資料庫表資料如下圖所示：