MaxCompute資料源特性說明

  • 文档创建者:Roxy
  • 历史版本:8
  • 最近更新:Laurenwy 于 2025-03-18
  • icon提示:
    本文詳細說明 MaxCompute 資料源在 FDL 中的使用特性,包括使用限制以及在不同功能使用中的特殊情況,幫助使用者更好地理解和應用資料源。

    通用限制

    受 MaxCompute JDBC 連結的限制,無法獲取到欄位的非空約束資訊,因此前端 not null 列無法正確顯示。

    資料開發-定時任務

    詳情請參見:資料開發概述

    資料來源

    資料去向與映射

    定時任務中設定資料匯出到 MaxCompute 資料庫時。「資料去向與映射」介面如下圖所示:

    當 MaxCompute 作為定時任務寫入端資料源時,需要設定 Tunnel 設定,填寫 MaxCompute 服務對應區域及連結方式的Tunnel Endpoint,詳情參見:配置MaxCompute資料源 第三章。

    注:寫入方式不支援 JDBC

    1)Tunnel上傳下載限制:

    • Tunnel功能及Tunnel SDK當前不支援外部表操作。

    • Tunnel命令不支援上傳下載複雜資料類型:ARRAY、MAP和STRUCT類型的資料。

    2)使用Tunnel服務時,注意事項:

     Tunnel Endpoint不支援跨域連結,請務必配置與用戶端所在地域和網路類型一致的Endpoint以確定存取正常。

    若選擇「自動建表」,支援「分割槽鍵設定」,可選取目標表裏的某些欄位作為分割槽鍵。

    • 單表分割槽層級最多6級。

    詳情參見:分割槽鍵

    支援作為分割槽鍵的欄位類型:TINYINT、 SMALLINT、INT、BIGINT、CHAR、VARCHAR和STRING資料類型的欄位設為分割槽列。

    寫入方式

    配置項
    說明
    寫入方式
    • 支援「直接將資料寫入目標表」

    • 支援「清空目標表,再寫入資料」

    • 不支援「基於標識欄位,追加/更新/刪除資料」

    主鍵映射MaxCompute 不支援主鍵約束。
    分割槽寫入設定

    資料同步節點、資料轉換>DB表匯出算子中:

    1)資料寫入 MaxCompute 資料庫時,當選擇的目標表是分割槽表(包含分割槽鍵),或自動建表時定義了分割槽鍵,寫入方式新增「分割槽寫入」設定項。

    分割槽級別、分割槽鍵均為自動獲取,無法自訂;可配置寫入方式、分割槽值。

    • 寫入方式:支援靜態分割槽。

    • 分割槽值:靜態分割槽寫入時,需要為分割槽鍵配置分割槽值。

    2)若目標表無分割槽,交互提示:當前目標表,無分割槽資訊。

    欄位類型相關

    • 讀取和寫入都不支援json類型

    • 往 string 類型寫入 null 會報錯(ODPS的bug),因此會將 null 取代為空字串。

      自動建表的欄位映射預設填充的是2.0資料類型,如果想建立1.0資料類型的表需要在欄位映射中手動修改。

    資料管道

    詳情請參見:資料管道概述

    資料服務

    詳情請參見:資料服務概述



    附件列表


    主题: 配置資料源
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!