DataAgent对接华为云OBS实现文件服务

  • 編輯次數:1
  • 1. 概述

    1.1 版本

    DataAgent版本
    功能變更
    V1.3-

    1.2 應用場景

    手動搭建本地 HDFS 檔案系統,對於使用者的維運能力要求過高,但使用者又希望使用高可用的 AI 檔案伺服器。

    支援的雲儲存檔案系統包括:阿里雲OSS、華為雲OBS 、亞馬遜雲S3。其他自行搭建的 S3 平台不確定支援。

    1.3 功能簡介

    本文主要講解 DataAgent 叢集與華為雲物件儲存 OBS 的對接:

    • 使用者需要自行購買並準備華為雲物件儲存 OBS

    • 在專案部署好後,可將叢集專案與該雲儲存系統對接

    2. 準備華為雲OBS

    使用者需要自行購買並準備華為雲物件儲存 OBS。

    帆軟不提供相關資料和指導,僅對必要內容進行指明,請查閱華為雲官網獲取其他幫助。請參見:華為雲物件儲存OBS 




    1建立華為雲超管

    如已有華為雲企業超管帳號,可忽略本步驟

    1)註冊華為帳號

    請參考華為雲文檔完成:註冊華為帳號並開通華為雲

    2)實名認證

    請參考華為雲文檔完成:個人帳號如何完成實名認證 或 企業帳號如何完成實名認證

    3)為華為帳號充值

    請確定你的華為帳號有足夠的餘額,才能正常使用 OBS 等相關資源

    請參考華為雲文檔完成:賬戶充值

    2建立華為雲IAM使用者和存取金鑰

    華為雲企業超管帳號下,一般有企業內的多種資源

    超管可以建立一個IAM使用者,用於分配對應OBS權限,和帆軟叢集對接

    1)建立IAM使用者

    管理者登入IAM控制台,選擇「使用者>建立使用者」,設定IAM帳號

    請務必勾選「存取金鑰」證件,以生成AccessKeyId和AccessKeySecret

    請參考華為雲文檔完成:建立IAM使用者

    2)儲存存取金鑰檔案

    建立成功後,請務必妥善保管生成的存取金鑰檔案 credentials.csv,其中包含該 IAM 使用者的 Access Key Id 和 Secret Access Key,下文需要用到

    請參考華為雲文檔完成:管理IAM使用者存取金鑰

    3)分配權限

    請為該使用者或使用者所在的使用者組,分配 OBS Administrator權限:物件儲存服務管理者權限

    請參考華為雲文檔完成:建立使用者組並授權

    3建立桶和檔案目錄

    1)建立桶

    登入華為雲OBS控制台,建立桶

    請參考華為雲文檔完成:建立桶

    範例桶名稱:fanruan-dora-obs-test

    2)建立資料夾

    點選進入建立好的桶,在「物件」中建立資料夾,用於儲存工程檔案和工程備份檔案。請參考華為雲文檔完成:建立資料夾

    範例資料夾:fanruan

    3)點選進入上一節建立的目錄,建立子目錄,推薦命名為 dora ,用於儲存工程檔案

    3. 準備華為雲OBS資訊

    配置項
    說明
    協定S3

    Bucket

    Endpoint

    Region

    配置項說明:

    Bucket:桶,用於儲存物件的容器

    Endpoint:OBS對外服務的存取域名

    Region:OBS的資料中心所在物理位置。注意不包含前綴的Bucket,例如範例的Region最終值為:obs-cn-east-3.huaweicloud.com

    獲取方式:

    1)登入華為雲物件儲存OBS管理控制台

    2)點選桶列表,桶名稱即為 Bucket

    3)點選桶,進入「概覽」介面,在域名資訊中,可以看到 Endpoint 和 Region

    AccessKeyId

    AccessKeySecret

    配置項說明:

    AccessKey是華為雲提供給使用者的永久存取憑據

    • AccessKeyId:用於標識使用者

    • AccessKeySecret:是一個用於驗證你擁有該AccessKey ID的密碼

    獲取方式:

    推薦建立 IAM 使用者並建立存取金鑰,即上文建立 IAM 使用者時生成的存取金鑰檔案 credentials.csv

    其中包含該IAM使用者的 Access Key Id(即帆軟所需的AccessKeyId)和 Secret Access Key(帆軟所需的 AccessKeySecret )

    如果遺失這個 AccessKey,請參考華為雲文檔重建立立:管理IAM使用者存取金鑰

    路徑

    檔案服務的根目錄名稱,即儲存工程檔案的目錄完整地址

    本範例為 fanruan/dora/

    注:

    1)「路徑」必須以「/」結尾,開頭不能加「/」。

    2)「路徑」不能是相對路徑。

    PathStyleAccess

    存取OBS儲存桶時,URL的路徑結構,一般情況下無需配置

    • false:預設值,虛擬主機樣式,儲存桶名稱為主機名的一部分,這種方式是華為雲 OBS 的推薦存取方式,通常用於生產環境中

    • true:路徑樣式,儲存桶名稱為路徑的一部分,如叢集對接 OBS 時,出現憑證或 unknownhost 相關報錯,可調整為 true

    signerOverride

    允許使用者指定請求籤名的算法或版本,一般情況下無需配置

    如叢集對接 OBS 時,出現憑證或 unknownhost 相關報錯,可調整為 S3SignerType

    4. 接入AI檔案服務

    4.1 部署新專案時接入

    在「部署新專案-專案設定」時,可接入自備的華為雲物件儲存 OBS 作為 AI 檔案伺服器。

    1)當部署多應用叢集專案時,勾選「AI」部署模組,AI檔案服務支援選擇「對接已有服務」。

    2)下拉頁面,在「AI檔案服務」中輸入第三章準備的相關資訊。

    3)點選「測試連結」,提示「測試連結成功」,即代表可正常對接。

    4.2 新增新AI組件時接入

    在「新增組件」時,可接入自備的華為雲物件儲存 OBS 作為 AI 檔案伺服器。

    1)管理者選擇對應專案,進入「維護>組件管理」

    2)點選「新增組件>業務組件」,選擇「AI」組件

    3)在 AI 檔案服務中,選擇「對接已有檔案服務(S3)」

    4)輸入第三章準備的相關資訊,點選「儲存」,提示「連結成功」,即代表可正常對接

    4.3 修改AI檔案服務

    在專案部署成功後,可透過維運平台的「叢集管理」,為 DataAgent 接入華為雲物件儲存 OBS 作為檔案服務。

    1)管理者登入維運平台,選中指定專案。

    2)點選「維護>叢集管理」,對「AI 檔案伺服器」進行配置。

    3)輸入第三章準備的相關資訊。

    4)點選「儲存」,提示「連結成功」,即代表可正常對接。


    附件列表


    主題: 快速入門
    已經是第一篇
    • 有幫助
    • 沒幫助
    • 只是瀏覽