配置MaxCompute資料源

1.1 版本

1.2 簡介

MaxCompute（之前稱為 ODPS），是阿里巴巴通用計算平台提供的一種快速、完全託管的 GB/TB/PB 級資料倉儲解決方案，現在已更名為 MaxCompute，MaxCompute 向使用者提供了完善的資料匯入方案以及多種經典的分佈式計算模型，能夠更快速的解決使用者海量資料計算問題，有效降低企業成本，並保障資料安全。

FineDataLink 支援定時任務讀寫 MaxCompute 資料庫。

1.3 約束限制

• 定時任務支援讀寫 MaxCompute 資料，資料服務支援使用作為發佈資料源。

• 若使用加速參數，資料量超過100w限制時，需要加參數 autoSelectLimit=1000000000。

2.1 前提條件

詳情請參見：前提條件

2.2 版本和驅動

下載驅動，並將放置在 %FineDataLink%/webroot/web-inf/lib下。

注：不支援使用驅動管理上傳驅動。

URL 解譯：

• <maxcompute_endpoint>：MaxCompute 服務所在區域的 Endpoint。例如，華東1（杭州）區域的外網Endpoint為http://service.cn-hangzhou.maxcompute.aliyun.com/api。
  

• <maxcompute_project_name>：MaxCompute專案空間名稱。

詳細可參見：JDBC參考使用說明

2.3 收集連結資訊

在連結資料庫之前，請收集以下資訊：

• <maxcompute_endpoint>：MaxCompute 服務所在區域的 Endpoint

• <maxcompute_project_name>：MaxCompute專案空間名稱
  

• 資料庫的帳號和密碼；密碼中不能包含百分號，會導緻連結報錯。

• 需要連結的資料庫模式；

1）管理者登入 FDL 工程，點選「管理系統>資料連結>資料連結管理」，選中某個資料夾後，建立資料連結。如下圖所示：

2）設定資料連結名稱（可同時修改資料連結所在目錄）。如下圖所示：

3）可根據資料源分類、支援形式、適配模組、資料源名稱篩選資料庫。如下圖所示：

4）輸入 2.3 節的連結資訊，如下圖所示：

注1：如果要寫入 maxcompute，需要去掉資料連結 URL 中的 &interactiveMode=true。此配置可加速讀取，但是不能執行 select 之外的語句。

注2：建議關閉獲取連結前校驗和空閑連結可用性定期檢查，可提升獲取欄位映射速度和寫數前準備速度。

點選「點選連結資料庫」連結成功後，便可以選擇模式，如下圖所示：

注：使用者可以選擇性修改進階設定，詳細請參見 建立並管理資料源 第 2.4 節

5）當 MaxCompute 作為定時任務寫入端資料源時，需要設定 Tunnel 設定，填寫MaxCompute服務對應區域及連結方式的Tunnel Endpoint，例如http://dt.cn-hangzhou.maxcompute.aliyun.com。

Tunnel服務的連結地址，詳情請參見：Endpoint

更多說明詳情參見：MaxCompute資料源使用說明

6）點選「測試連結」，若連結成功則「儲存」該連結。如下圖所示：

配置好資料源後即可在「資料開發」中使用作為讀寫資料源，詳情參見：定時任務概述

配置好資料源後即可在「資料服務」中將使用資料源，詳情參見：資料服務概述

資料源在 FineDataLink 中的使用說明，詳情請參見：MaxCompute資料源使用說明