1. 概述
1.1 版本
| FineDataLink 版本 | 功能變動 |
|---|---|
| 4.1.13.2 | 資料開發-定時任務支援讀取和寫入 Amazon S3 資料源 |
| 4.2.0.1 | 統一用 S3 協定相容目前已支援的全部檔案儲存系統 |
1.2 功能簡介
FDL 中支援配置 Amazon S3 資料源的資料連結。
資料開發-定時任務中可使用該資料連結，在阿裏雲 OSS，華為雲OBS，亞馬遜 S3，MinIO 等相容 S3 協定的物件儲存中進行讀取和寫入。
2. 準備工作
2.1 前提條件
詳情請參見：前提條件
2.2 收集連結資訊
在連結資料源之前，請收集以下資訊：
存取域名：用於存取 Amazon S3 服務的 URL 或域名（必填）。
檔案儲存服務的地理區域（如果「存取域名」包含儲存區域，則此處不需要填寫）。
證件讀取方式。
3. 具體連結步驟
1）管理者登入 FDL 工程，點選「管理系統>資料連結>資料連結管理」，選中某個資料夾後，建立資料連結。如下圖所示：
2）設定資料連結名稱（可同時修改資料連結所在目錄）。如下圖所示：
3）可根據資料源分類、支援形式、適配模組、資料源名稱篩選資料庫。如下圖所示：
4）配置資料連結。如下圖所示：
各設定項介紹如下表所示：
| 設定項 | 說明 |
|---|---|
| 存取域名（Endpoint） | 必填
|
| 區域（Region） | 非必填（如果 Endpoint 包含儲存區域，則此處不需要填寫）
|
| 證件讀取方式 | 可選擇：手動指定證件、使用 AWS 環境內預設憑證 1）手動指定證件：將允許使用者手動指定證件配置 2）使用AWS環境內預設憑證說明：將使用環境內的證件配置：設定AWS臨時證件並AWS 區域用於開發 注：使用 Amazon S3 相容讀取 OSS、OBS、COS 時，選擇「使用AWS環境內預設證件」時將無法正常連結，會報錯 |
| AccessKeyID | 「證件讀取方式」為「手動指定證件」時有該設定項 所選擇的檔案儲存廠商帳號的存取證件之一，用於驗證身分和授權存取儲存桶（Bucket）中的物件 |
| SecretAccessKey | 「證件讀取方式」為「手動指定證件」時有該設定項 所選擇的檔案儲存廠商帳號的存取證件之一，用於驗證身分和授權存取儲存桶（Bucket）中的物件 |
| 編碼 | 支援選擇：GBK、BIG5、ISO-8859-1、UTF-8、UTF-16、EUC_JP、EUC_KR、CP850 |
5）點選「測試連結」，若連結成功則「儲存」該連結。如下圖所示：
4. 使用資料源
4.1 定時任務
Amazon S3 資料源分類於「檔案輸入」分類中：
4.1.1 讀取 Amazon S3 資料
1）「全局指派參數」、「資料同步」、「參數指派」、「資料轉換-檔案輸入」的資料來源新增：Amazon S3。如下圖所示：
注：各設定項說明請參見：檔案輸入功能說明；讀取資料夾時，不支援「檔案篩選」功能。
2）「檔案傳輸」的檔案來源新增：Amazon S3。如下圖所示：
注：各設定項說明請參見：檔案傳輸功能說明
4.1.2 寫入 Amazon S3
1）「資料同步」、「資料轉換-檔案匯出」的資料去向新增：Amazon S3。如下圖所示：
檔案重名策略支援：檔案重名，停止寫入並報錯；檔案重名，改寫目標檔案資料。
注：各設定項說明請參見：檔案匯出算子功能說明
2）「檔案傳輸」的檔案去向配置：
檔案重名策略支援：檔案重名，停止寫入並報錯；檔案重名，改寫目標檔案資料。
注：各設定項說明請參見：檔案傳輸功能說明
上一篇：配置MQTT数据源