讀取、建立、寫入分割槽表

1.1 版本

FineDataLink 版本	功能變動
4.1.3	資料寫入Hive、星環 TRANSWARP INCEPTOR資料庫時，支援建立、寫入分割槽表
4.2.0.2	支援讀取 Impala 資料庫的 kudu 分割槽表 支援寫入 Impala 資料庫的 kudu 分割槽表

1.2 歷史版本

FineDataLink 版本	功能變動
4.1.9.3	定時任務和資料服務支援選擇 PostgreSQL、Greenplum、Gauss200 的分割槽表作為資料來源或資料去向 定時任務和管道任務自動建表支援指定分割槽鍵（PostgreSQL、Greenplum、Gauss200 ）和分佈鍵（Greenplum、Gauss200）
4.1.11.2	YMatrix 資料庫： 「定時任務」支援選擇分割槽表作為「資料來源」和「資料去向」 「資料服務」支援選擇分割槽表作為「資料來源」 「定時任務」和「管道任務」「自動建表」支援指定分割槽 「定時任務」和「管道任務」「自動建表」支援指定分佈鍵
4.1.11.3	PolarDB PostgreSQL 資料庫： 「定時任務」支援選擇分割槽表作為「資料來源」和「資料去向」 「資料服務」支援選擇分割槽表作為「資料來源」 「定時任務」和「管道任務」「自動建表」支援指定分割槽
4.1.11.4	MaxCompute「定時任務」「自動建表」支援「分割槽鍵設定」 當選擇的目標表是分割槽表（包含分割槽鍵），或自動建表時定義了分割槽鍵，寫入方式新增「分割槽寫入」設定項

1.3 應用場景

大數據量的資料儲存場景下，為提高查詢效能，許多資料庫都提供了分割槽表的功能，希望 FDL 可以讀取、建立、寫入分割槽表。

1.4 功能簡介

部分資料庫支援選擇分割槽表作為「資料來源」和「資料去向」、自動建表支援設定分割槽鍵和分佈鍵。

定時任務和資料服務支援讀取資料源的分割槽表，如下圖所示：

定時任務和管道任務支援選擇目標表是分割槽表，如下圖所示：

4.1 資料寫入 Hive、星環 TRANSWARP INCEPTOR、MaxCompute

在定時任務資料同步節點、資料轉換>DB表匯出算子中：

若選擇「自動建表」，可選取目標表裏的某些欄位作為分割槽鍵。如下圖所示：

點選「分割槽鍵設定」按鈕，如下圖所示：

詳細請參見：配置Hadoop Hive資料源、TRANSWARP INCEPTOR資料源使用說明、MaxCompute資料源特性說明

4.2 資料寫入PostgreSQL、Greenplum、Gauss200、YMatrix、PolarDB PostgreSQL、Impala 資料庫的 kudu 

分割槽表

定時任務和管道任務中：

若資料去向選擇「自動建表」，可將資料寫入分割槽表。如下圖所示：

詳細說明請參見：PostgreSQL資料源使用說明、Greenplum資料源使用說明、GaussDB 200資料源使用說明、YMatrix資料源使用說明、PolarDB PostgreSQL資料源使用說明、配置Apache Impala資料源

定時任務和管道任務目標表配置為「自動建表」時，增加相關配置，支援指定哈希分佈鍵。

注：目前哈希分佈下支援指定分佈鍵，暫不支援隨機分佈和複製分佈。

分佈鍵可以不配置，不配置分佈鍵時，將走資料庫預設邏輯指定分佈鍵（預設是使用主鍵或者表的第一個列作為分佈鍵），如下圖所示：

資料同步節點、資料轉換>DB表匯出算子中：

資料寫入 Hive、星環 TRANSWARP INCEPTOR 、MaxCompute 資料庫時，當選擇的目標表是分割槽表（包含分割槽鍵），或自動建表時定義了分割槽鍵，寫入方式新增「分割槽寫入」設定項。如下圖所示：

分割槽級別、分割槽鍵均為自動獲取，無法自訂；使用者可配置寫入方式、分割槽值。

• 寫入方式：可選擇靜態分割槽、動態分割槽。

• 分割槽值：靜態分割槽寫入時，需要為分割槽鍵配置分割槽值。