FDL 中支援配置 Amazon S3 資料源的資料連結。
資料開發-定時任務中可使用該資料連結,在阿裏雲 OSS,華為雲OBS,亞馬遜 S3,MinIO 等相容 S3 協定的物件儲存中進行讀取和寫入。
詳情請參見:前提條件
在連結資料源之前,請收集以下資訊:
存取域名:用於存取 Amazon S3 服務的 URL 或域名(必填)。
檔案儲存服務的地理區域(如果「存取域名」包含儲存區域,則此處不需要填寫)。
證件讀取方式。
1)管理者登入 FDL 工程,點選「管理系統>資料連結>資料連結管理」,選中某個資料夾後,建立資料連結。如下圖所示:
2)設定資料連結名稱(可同時修改資料連結所在目錄)。如下圖所示:
3)可根據資料源分類、支援形式、適配模組、資料源名稱篩選資料庫。如下圖所示:
4)配置資料連結。如下圖所示:
各設定項介紹如下表所示:
必填
用於存取 Amazon S3 服務的 URL 或域名。它是 Amazon S3 服務的入口點,用於接收和處理來自使用者端的請求
不同的 Region 有不同的 Endpoint 。因此,選擇將資料寫入到特定的 Region 時,需要使用與該 Region 聯動的 Endpoint
非必填(如果 Endpoint 包含儲存區域,則此處不需要填寫)
檔案儲存服務的地理區域。不同的 Region 可能位於不同的資料中心,因此它們之間的資料存取速度和延遲可能會有所不同
在建立 Amazon S3 的儲存桶(Bucket)時,需要指定一個 Region。一旦 Bucket 被建立並指定了 Region,它的資料就會儲存在該 Region 的伺服器上這意味着資料將儲存在指定的地理區域內,進而可以提高資料存取的速度和效率
可選擇:手動指定證件、使用 AWS 環境內預設憑證
1)手動指定證件:將允許使用者手動指定證件配置
2)使用AWS環境內預設憑證說明:將使用環境內的證件配置:設定AWS臨時證件並AWS 區域用於開發
注:使用 Amazon S3 相容讀取 OSS、OBS、COS 時,選擇「使用AWS環境內預設證件」時將無法正常連結,會報錯
「證件讀取方式」為「手動指定證件」時有該設定項
所選擇的檔案儲存廠商帳號的存取證件之一,用於驗證身分和授權存取儲存桶(Bucket)中的物件
支援選擇:GBK、BIG5、ISO-8859-1、UTF-8、UTF-16、EUC_JP、EUC_KR、CP850
5)點選「測試連結」,若連結成功則「儲存」該連結。如下圖所示:
Amazon S3 資料源分類於「檔案輸入」分類中:
1)「全局指派參數」、「資料同步」、「參數指派」、「資料轉換-檔案輸入」的資料來源新增:Amazon S3。如下圖所示:
注:各設定項說明請參見:檔案輸入功能說明;讀取資料夾時,不支援「檔案篩選」功能。
2)「檔案傳輸」的檔案來源新增:Amazon S3。如下圖所示:
注:各設定項說明請參見:檔案傳輸功能說明
1)「資料同步」、「資料轉換-檔案匯出」的資料去向新增:Amazon S3。如下圖所示:
檔案重名策略支援:檔案重名,停止寫入並報錯;檔案重名,改寫目標檔案資料。
注:各設定項說明請參見:檔案匯出算子功能說明
2)「檔案傳輸」的檔案去向配置:
滑鼠選中內容,快速回饋問題
滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。
不再提示
10s後關閉
反馈已提交
网络繁忙