讀取、建立、寫入分割槽表

  • 文檔創建者:Wendy123456
  • 編輯次數:20
  • 最近更新:shuning 于 2026-06-17
  • 1. 概述

    1.1 版本

    FineDataLink 版本功能變動
    4.1.3

    資料寫入Hive、星環 TRANSWARP INCEPTOR資料庫時,支援建立、寫入分割槽

    4.2.19.1

    對於  AnalyticDB PostgreSQL 資料源:

    • 定時任務支援讀取分割槽表

    • 定時任務目標表為自動建表時,支援設定分佈鍵;若設定了主鍵,支援設定分割槽鍵

    對於雲資料庫 GaussDB 資料源:

    • 定時任務、實時任務、實時管道任務支援讀取分割槽表

    • 定時任務、實時任務、實時管道任務目標表為自動建表時,支援設定分佈鍵、分割槽鍵

    4.2.19.3

    對於 TCHouse-P 資料源: 

    1)定時任務支援讀取分割槽表 

    2)定時任務目標表為自動建表時,支援設定分佈鍵;若設定了主鍵,支援設定分割槽鍵

    3)實時任務和實時管道中:

    • 目標表若為自動建表,支援設定分佈鍵

    • 目標表為已存在表時,支援寫入分割槽表,支援查看分割槽鍵配置 。

    • 目標表若為自動建表且目標表已設定主鍵,支援選擇主鍵作為分割槽鍵


    1.2 歷史版本

    FineDataLink 版本
    功能變動
    4.1.9.3
    • 定時任務和資料服務支援選擇 PostgreSQL、Greenplum、Gauss200 的分割槽表作為資料來源或資料去向

    • 定時任務和管道任務自動建表支援指定分割槽鍵(PostgreSQL、Greenplum、Gauss200 )和分佈鍵(Greenplum、Gauss200)

    4.1.11.2

    YMatrix 資料庫:

    • 「定時任務」支援選擇分割槽表作為「資料來源」和「資料去向」

    • 「資料服務」支援選擇分割槽表作為「資料來源」

    • 「定時任務」和「管道任務」「自動建表」支援指定分割槽

    • 「定時任務」和「管道任務」「自動建表」支援指定分佈鍵

    4.1.11.3

    PolarDB PostgreSQL 資料庫

    • 「定時任務」支援選擇分割槽表作為「資料來源」和「資料去向」

    • 「資料服務」支援選擇分割槽表作為「資料來源」

    • 「定時任務」和「管道任務」「自動建表」支援指定分割槽

    4.1.11.4

    MaxCompute「定時任務」「自動建表」支援「分割槽鍵設定」

    當選擇的目標表是分割槽表(包含分割槽鍵),或自動建表時定義了分割槽鍵,寫入方式新增「分割槽寫入」設定項

    4.2.0.2

    支援讀取 Impala 資料庫的 kudu 分割槽表

    支援寫入 Impala 資料庫的 kudu 分割槽表

    4.2.7.2支援讀取 GaussDB 100/GaussDB T 資料庫的分割槽表
    4.2.7.3資料服務、定時任務支援選擇 Doris 和 StarRocks 的分割槽表作為資料來源

    定時任務&管道任務支援選擇 Doris 和 StarRocks 的分割槽表作為資料去向定時任務&管道任務自動建表支援指定分割槽

    4.2.8.5KingBaseES(SqlServer模式)、KingBaseES(MySQL模式)支援讀取分割槽表,支援寫入資料到已存在的分割槽表
    4.2.11.3
    「查看分割槽鍵設定」顯示邏輯優化
    4.2.12.4KingBaseES(Oracle模式)、KingBaseES(PostgreSQL模式)支援讀取分割槽表,支援寫入資料到已存在的分割槽表
    4.2.15.1

    對於 Hologres 資料源:

    • 定時任務支援寫入邏輯分割槽表

    • 實時管道、實時任務支援寫入邏輯分割槽表


    1.3 應用場景

    大數據量的資料儲存場景下,為提高查詢效能,許多資料庫都提供了分割槽表的功能,希望 FDL 可以讀取、建立、寫入分割槽表。

    1.4 功能簡介

    部分資料庫支援選擇分割槽表作為「資料來源」和「資料去向」、自動建表支援設定分割槽鍵和分佈鍵。

    2. 讀取分割槽表資料

    支援位置支援資料源
    定時任務

    PostgreSQL、Greenplum、Gauss200、YMatrix、PolarDB PostgreSQL Impala 資料庫的 kudu 分割槽表、GaussDB 100/GaussDB T、Doris、StarRocks、KingBaseES(SqlServer模式)、KingBaseES(MySQL模式)、KingBaseES(Oracle模式)、KingBaseES(PostgreSQL模式)、 AnalyticDB PostgreSQL、雲資料庫 GaussDB、TCHouse-P

    資料服務

    PostgreSQL、Greenplum、Gauss200、YMatrix、PolarDB PostgreSQL、Doris、StarRocks、KingBaseES(SqlServer模式)、KingBaseES(MySQL模式)、KingBaseES(Oracle模式)、KingBaseES(PostgreSQL模式) 

    實時任務雲資料庫 GaussDB
    實時管道任務雲資料庫 GaussDB

    定時任務和資料服務支援讀取資料源的分割槽表,如下圖所示:

    注:Doris、StarRocks 資料庫的分割槽表圖示與非分割槽表圖示一致,沒有區分。


    3. 寫入資料到已存在的分割槽表

    支援位置
    支援資料源
    定時任務PostgreSQLGreenplumGauss200YMatrixPolarDB PostgreSQLImpala 資料庫的 kudu 分割槽表DorisStarRocks、KingBaseES-SqlServer模式、KingBaseES-MySQL模式、KingBaseES-Oracle模式、KingBaseES-PostgreSQL模式、Hologres、雲資料庫 GaussDB、AnalyticDB PostgreSQL、TCHouse-P
    管道任務PostgreSQLGreenplumGauss200YMatrix 

    PolarDB PostgreSQLImpala 資料庫的 kudu 分割槽表DorisStarRocks

    KingBaseES-SqlServer模式、KingBaseES-MySQL模式、KingBaseES-Oracle模式、KingBaseES-PostgreSQL模式、Hologres、雲資料庫 GaussDB、TCHouse-P

    實時任務雲資料庫 GaussDB、TCHouse-P
    定時管道任務
    AnalyticDB PostgreSQL

    定時任務和管道任務支援選擇目標表是分割槽表,如下圖所示:

    4.2.11.3 及之後版本,對「查看分割槽鍵設定」顯示邏輯進行優化:

    「已存在表」選擇無分割槽表不顯示「查看分割槽鍵設定」按鈕
    「已存在表」選擇有 FDL 自動建表建立的分割槽表顯示「查看分割槽鍵設定」按鈕,且支援編輯
    「已存在表」選擇資料庫自建的分割槽表「已存在表」選擇資料庫自建的分割槽表


    4. 自動建表支援分割槽鍵設定

    支援位置支援資料源
    定時任務Hive星環 TRANSWARP INCEPTORMaxComputePostgreSQLGreenplumGauss200YMatrixPolarDB PostgreSQL、 Impala 資料庫的 kudu 分割槽表 Doris StarRocks、雲資料庫 GaussDB、TCHouse-P
    管道任務PostgreSQL Greenplum GaussDB 200 YMatrix PolarDB PostgreSQL Impala資料源的kudu分割槽表 Doris StarRocksHologres、雲資料庫 GaussDB、TCHouse-P
    實時任務雲資料庫 GaussDB、TCHouse-P


    5. 自動建表支援指定分佈鍵

    支援位置支援資料源
    定時任務

    Gauss200GreenpluYMatrixAnalyticDB PostgreSQL、雲資料庫 GaussDB、TCHouse-P

    管道任務Gauss200GreenpluYMatrix、雲資料庫 GaussDB、TCHouse-P、雲資料庫 GaussDB、TCHouse-P
    實時任務雲資料庫 GaussDB、TCHouse-P

    定時任務和管道任務目標表配置為「自動建表」時,增加相關配置,支援指定哈希分佈鍵。

    注:目前哈希分佈下支援指定分佈鍵,暫不支援隨機分佈和複製分佈。

    分佈鍵可以不配置,不配置分佈鍵時,將走資料庫預設邏輯指定分佈鍵(預設是使用主鍵或者表的第一個列作為分佈鍵),如下圖所示:


    6. 寫入方式支援分割槽寫入

    資料同步節點、資料轉換>DB表匯出算子中:

    資料寫入 Hive星環 TRANSWARP INCEPTORMaxCompute 資料庫時,當選擇的目標表是分割槽表(包含分割槽鍵),或自動建表時定義了分割槽鍵,寫入方式新增「分割槽寫入」設定項。如下圖所示:


    分割槽級別、分割槽鍵均為自動獲取,無法自訂;使用者可配置寫入方式、分割槽值。

    • 寫入方式:可選擇靜態分割槽、動態分割槽。

    • 分割槽值:靜態分割槽寫入時,需要為分割槽鍵配置分割槽值。


    附件列表


    主題: 資料開發-定時任務
    • 有幫助
    • 沒幫助
    • 只是瀏覽
    中文(繁體)

    滑鼠選中內容,快速回饋問題

    滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。

    不再提示

    10s後關閉

    獲取幫助
    線上支援
    獲取專業技術支援,快速幫助您解決問題
    工作日9:00-12:00,13:30-17:30在线
    頁面反饋
    針對當前網頁的建議、問題反饋
    售前咨詢
    業務咨詢
    電話:0933-790886或 0989-092892
    郵箱:taiwan@fanruan.com
    頁面反饋
    *問題分類
    不能為空
    問題描述
    0/1000
    不能為空

    反馈已提交

    网络繁忙