DataAgent對接阿里雲OSS實現AI檔案對接

  • 編輯次數:1
  • 1. 概述

    1.1 版本

    DataAgent版本
    功能變更
    V1.3-

    1.2 應用場景

    手動搭建本地 HDFS 檔案系統,對於使用者的維運能力要求過高,但使用者又希望使用高可用的 AI 檔案伺服器。

    支援的雲儲存檔案系統包括:阿里雲OSS、華為雲OBS 、亞馬遜雲S3。其他自行搭建的 S3 平台不確定支援。

    1.3 功能簡介

    本文主要講解帆軟叢集與阿里雲物件儲存OSS的對接:

    • 使用者需要自行購買並準備阿里雲物件儲存OSS。

    • 在 DataAgent 部署好後,可將 DataAgent 與該雲儲存系統對接。

    2. 準備阿里雲OSS

    使用者需要自行購買並準備阿里雲物件儲存OSS。

    帆軟不提供相關資料和指導,僅對必要內容進行指明,請查閱阿里雲官網獲取其他幫助。請參見:阿里雲對象儲存OSS

    1購買

    自行購買阿里雲物件儲存OSS

    2建立RAM使用者和AccessKey

    1)登入阿里雲RAM 存取控制

    2)建立RAM使用者

    點選「身分管理>使用者」,點選「建立使用者」

    務必勾選「OpenAPI 呼叫存取」,以生成AccessKeyId和AccessKeySecret

    3)複製AccessKey資訊

    建立成功後,請務必記錄下AccessKeyId和AccessKeySecret,下文需要用到

    後續無法再次查詢到對應Secret,只能重新增立

    4)分配權限

    勾選該使用者,點選「新增授權」

    為使用者分配AliyunOSSFullAccess:管理物件儲存服務(OSS)權限

    3建立儲存空間和檔案目錄1)登入阿里雲物件儲存OSS控制台

    2)建立Bucket(儲存空間)

    3)點選進入Bucket,在「檔案管理>檔案列表」中建立目錄

    用於儲存工程檔案和工程備份檔案

    範例目錄:fanruan

    4)點選進入上一節建立的目錄,建立子目錄,推薦命名為 dora,用於儲存工程檔案

    3. 準備阿里雲OSS資訊

    配置項
    說明
    協定S3

    Bucket

    Endpoint

    Region

    配置項說明:

    Bucket:儲存空間,用於儲存物件的容器

    Endpoint:OSS對外服務的存取域名

    Region:OSS的資料中心所在物理位置。注意不包含前綴的Bucket,例如範例的Region最終值為:oss-cn-beijing.aliyuncs.com

    獲取方式:

    1)登入阿里雲物件儲存OSS控制台

    2)點選「Bucket列表」,點選工程檔案所在Bucket

    3)點選「概覽」,即可查看到相關資訊

    AccessKeyId

    AccessKeySecret

    配置項說明:

    AccessKey是阿里雲提供給使用者的永久存取憑據

    • AccessKeyId:用於標識使用者

    • AccessKeySecret:是一個用於驗證你擁有該AccessKey ID的密碼

    獲取方式:

    推薦建立RAM使用者並配置AccessKey(上文建立RAM使用者時已記錄相關資訊)

    如果遺失這個 AccessKey,只能建立新的來替代,如何建立:建立AccessKey

    路徑

    檔案服務的根目錄名稱,即儲存工程檔案的目錄完整地址

    本範例為fanruan/dora/

    注:

    1)「路徑」必須以「/」結尾,開頭不能加「/」。

    2)「路徑」不能是相對路徑。

    PathStyleAccess

    存取OSS儲存桶時,URL的路徑結構,一般情況下無需配置

    • false:預設值,虛擬主機樣式,儲存桶名稱為主機名的一部分,這種方式是阿里雲OSS的推薦存取方式,通常用於生產環境中

    • true:路徑樣式,儲存桶名稱為路徑的一部分,如叢集對接OSS時,出現憑證或unknownhost相關報錯,可調整為true

    signerOverride

    允許使用者指定請求籤名的算法或版本,一般情況下無需配置

    如叢集對接OSS時,出現憑證或unknownhost相關報錯,可調整為S3SignerType

    4. 接入檔案服務

    4.1 部署新專案時接入

    在「部署新專案-專案設定」時,可接入自備的阿里雲物件儲存 OSS作為 AI 檔案伺服器。

    1)當部署多應用叢集專案時,勾選「AI」部署模組,AI檔案服務支援選擇「對接已有服務」。

    2)下拉頁面,在「AI檔案服務」中輸入第三章準備的相關資訊。

    3)點選「測試連結」,提示「測試連結成功」,即代表可正常對接。


    4.2 新增新AI組件時接入

    在「新增組件」時,可接入自備的阿里雲物件儲存 OSS作為 AI 檔案伺服器。

    1)管理者選擇對應專案,進入「維護>組件管理」

    2)點選「新增組件>業務組件」,選擇「AI」組件

    3)在 AI 檔案服務中,選擇「對接已有檔案服務(S3)」

    4)輸入第三章準備的相關資訊,點選「儲存」,提示「連結成功」,即代表可正常對接


    4.3 修改AI檔案服務

    在專案部署成功後,可透過維運平台的「叢集管理」,為 DataAgent 接入阿里雲物件儲存 OSS 作為檔案服務。

    1)管理者登入維運平台,選中指定專案。

    2)點選「維護>叢集管理」,對「AI 檔案伺服器」進行配置。

    3)輸入第三章準備的相關資訊。

    4)點選「儲存」,提示「連結成功」,即代表可正常對接。


    附件列表


    主題: 快速入門
    已經是第一篇
    • 有幫助
    • 沒幫助
    • 只是瀏覽