資料寫入Hive、星環 TRANSWARP INCEPTOR資料庫時,支援建立、寫入分割槽表
對於 AnalyticDB PostgreSQL 資料源:
定時任務支援讀取分割槽表
定時任務目標表為自動建表時,支援設定分佈鍵;若設定了主鍵,支援設定分割槽鍵
對於雲資料庫 GaussDB 資料源:
定時任務、實時任務、實時管道任務支援讀取分割槽表
定時任務、實時任務、實時管道任務目標表為自動建表時,支援設定分佈鍵、分割槽鍵
對於 TCHouse-P 資料源:
1)定時任務支援讀取分割槽表
2)定時任務目標表為自動建表時,支援設定分佈鍵;若設定了主鍵,支援設定分割槽鍵
3)實時任務和實時管道中:
目標表若為自動建表,支援設定分佈鍵
目標表為已存在表時,支援寫入分割槽表,支援查看分割槽鍵配置 。
目標表若為自動建表且目標表已設定主鍵,支援選擇主鍵作為分割槽鍵
定時任務和資料服務支援選擇 PostgreSQL、Greenplum、Gauss200 的分割槽表作為資料來源或資料去向
定時任務和管道任務自動建表支援指定分割槽鍵(PostgreSQL、Greenplum、Gauss200 )和分佈鍵(Greenplum、Gauss200)
YMatrix 資料庫:
「定時任務」支援選擇分割槽表作為「資料來源」和「資料去向」
「資料服務」支援選擇分割槽表作為「資料來源」
「定時任務」和「管道任務」「自動建表」支援指定分割槽
「定時任務」和「管道任務」「自動建表」支援指定分佈鍵
PolarDB PostgreSQL 資料庫:
MaxCompute「定時任務」「自動建表」支援「分割槽鍵設定」
當選擇的目標表是分割槽表(包含分割槽鍵),或自動建表時定義了分割槽鍵,寫入方式新增「分割槽寫入」設定項
支援讀取 Impala 資料庫的 kudu 分割槽表
支援寫入 Impala 資料庫的 kudu 分割槽表
定時任務&管道任務支援選擇 Doris 和 StarRocks 的分割槽表作為資料去向定時任務&管道任務自動建表支援指定分割槽
對於 Hologres 資料源:
定時任務支援寫入邏輯分割槽表
實時管道、實時任務支援寫入邏輯分割槽表
大數據量的資料儲存場景下,為提高查詢效能,許多資料庫都提供了分割槽表的功能,希望 FDL 可以讀取、建立、寫入分割槽表。
部分資料庫支援選擇分割槽表作為「資料來源」和「資料去向」、自動建表支援設定分割槽鍵和分佈鍵。
PostgreSQL、Greenplum、Gauss200、YMatrix、PolarDB PostgreSQL、 Impala 資料庫的 kudu 分割槽表、GaussDB 100/GaussDB T、Doris、StarRocks、KingBaseES(SqlServer模式)、KingBaseES(MySQL模式)、KingBaseES(Oracle模式)、KingBaseES(PostgreSQL模式)、 AnalyticDB PostgreSQL、雲資料庫 GaussDB、TCHouse-P
PostgreSQL、Greenplum、Gauss200、YMatrix、PolarDB PostgreSQL、Doris、StarRocks、KingBaseES(SqlServer模式)、KingBaseES(MySQL模式)、KingBaseES(Oracle模式)、KingBaseES(PostgreSQL模式)
定時任務和資料服務支援讀取資料源的分割槽表,如下圖所示:
注:Doris、StarRocks 資料庫的分割槽表圖示與非分割槽表圖示一致,沒有區分。
PolarDB PostgreSQL、 Impala 資料庫的 kudu 分割槽表、Doris、StarRocks
KingBaseES-SqlServer模式、KingBaseES-MySQL模式、KingBaseES-Oracle模式、KingBaseES-PostgreSQL模式、Hologres、雲資料庫 GaussDB、TCHouse-P
定時任務和管道任務支援選擇目標表是分割槽表,如下圖所示:
4.2.11.3 及之後版本,對「查看分割槽鍵設定」顯示邏輯進行優化:
Gauss200、Greenplu、YMatrix、AnalyticDB PostgreSQL、雲資料庫 GaussDB、TCHouse-P
定時任務和管道任務目標表配置為「自動建表」時,增加相關配置,支援指定哈希分佈鍵。
注:目前哈希分佈下支援指定分佈鍵,暫不支援隨機分佈和複製分佈。
分佈鍵可以不配置,不配置分佈鍵時,將走資料庫預設邏輯指定分佈鍵(預設是使用主鍵或者表的第一個列作為分佈鍵),如下圖所示:
資料同步節點、資料轉換>DB表匯出算子中:
資料寫入 Hive、星環 TRANSWARP INCEPTOR 、MaxCompute 資料庫時,當選擇的目標表是分割槽表(包含分割槽鍵),或自動建表時定義了分割槽鍵,寫入方式新增「分割槽寫入」設定項。如下圖所示:
分割槽級別、分割槽鍵均為自動獲取,無法自訂;使用者可配置寫入方式、分割槽值。
寫入方式:可選擇靜態分割槽、動態分割槽。
分割槽值:靜態分割槽寫入時,需要為分割槽鍵配置分割槽值。
滑鼠選中內容,快速回饋問題
滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。
不再提示
10s後關閉
反馈已提交
网络繁忙