手動搭建本地 HDFS 檔案系統,對於使用者的維運能力要求過高,但使用者又希望使用高可用的 AI 檔案伺服器。
支援的雲儲存檔案系統包括:阿里雲OSS、華為雲OBS 、亞馬遜雲S3。其他自行搭建的 S3 平台不確定支援。
本文主要講解 DataAgent 叢集與華為雲物件儲存 OBS 的對接:
使用者需要自行購買並準備華為雲物件儲存 OBS
在專案部署好後,可將叢集專案與該雲儲存系統對接
使用者需要自行購買並準備華為雲物件儲存 OBS。
帆軟不提供相關資料和指導,僅對必要內容進行指明,請查閱華為雲官網獲取其他幫助。請參見:華為雲物件儲存OBS
如已有華為雲企業超管帳號,可忽略本步驟
1)註冊華為帳號
請參考華為雲文檔完成:註冊華為帳號並開通華為雲
2)實名認證
請參考華為雲文檔完成:個人帳號如何完成實名認證 或 企業帳號如何完成實名認證
3)為華為帳號充值
請確定你的華為帳號有足夠的餘額,才能正常使用 OBS 等相關資源
請參考華為雲文檔完成:賬戶充值
華為雲企業超管帳號下,一般有企業內的多種資源
超管可以建立一個IAM使用者,用於分配對應OBS權限,和帆軟叢集對接
1)建立IAM使用者
管理者登入IAM控制台,選擇「使用者>建立使用者」,設定IAM帳號
請務必勾選「存取金鑰」證件,以生成AccessKeyId和AccessKeySecret
請參考華為雲文檔完成:建立IAM使用者
2)儲存存取金鑰檔案
建立成功後,請務必妥善保管生成的存取金鑰檔案 credentials.csv,其中包含該 IAM 使用者的 Access Key Id 和 Secret Access Key,下文需要用到
請參考華為雲文檔完成:管理IAM使用者存取金鑰
3)分配權限
請為該使用者或使用者所在的使用者組,分配 OBS Administrator權限:物件儲存服務管理者權限
請參考華為雲文檔完成:建立使用者組並授權
1)建立桶
登入華為雲OBS控制台,建立桶
請參考華為雲文檔完成:建立桶
範例桶名稱:fanruan-dora-obs-test
2)建立資料夾
點選進入建立好的桶,在「物件」中建立資料夾,用於儲存工程檔案和工程備份檔案。請參考華為雲文檔完成:建立資料夾
範例資料夾:fanruan
3)點選進入上一節建立的目錄,建立子目錄,推薦命名為 dora ,用於儲存工程檔案
Bucket
Endpoint
Region
配置項說明:
Bucket:桶,用於儲存物件的容器
Endpoint:OBS對外服務的存取域名
Region:OBS的資料中心所在物理位置。注意不包含前綴的Bucket,例如範例的Region最終值為:obs-cn-east-3.huaweicloud.com
獲取方式:
1)登入華為雲物件儲存OBS管理控制台
2)點選桶列表,桶名稱即為 Bucket
3)點選桶,進入「概覽」介面,在域名資訊中,可以看到 Endpoint 和 Region
AccessKeyId
AccessKeySecret
AccessKey是華為雲提供給使用者的永久存取憑據
AccessKeyId:用於標識使用者
AccessKeySecret:是一個用於驗證你擁有該AccessKey ID的密碼
推薦建立 IAM 使用者並建立存取金鑰,即上文建立 IAM 使用者時生成的存取金鑰檔案 credentials.csv
其中包含該IAM使用者的 Access Key Id(即帆軟所需的AccessKeyId)和 Secret Access Key(帆軟所需的 AccessKeySecret )
如果遺失這個 AccessKey,請參考華為雲文檔重建立立:管理IAM使用者存取金鑰
檔案服務的根目錄名稱,即儲存工程檔案的目錄完整地址
本範例為 fanruan/dora/
注:
1)「路徑」必須以「/」結尾,開頭不能加「/」。
2)「路徑」不能是相對路徑。
PathStyleAccess
存取OBS儲存桶時,URL的路徑結構,一般情況下無需配置
false:預設值,虛擬主機樣式,儲存桶名稱為主機名的一部分,這種方式是華為雲 OBS 的推薦存取方式,通常用於生產環境中
true:路徑樣式,儲存桶名稱為路徑的一部分,如叢集對接 OBS 時,出現憑證或 unknownhost 相關報錯,可調整為 true
允許使用者指定請求籤名的算法或版本,一般情況下無需配置
如叢集對接 OBS 時,出現憑證或 unknownhost 相關報錯,可調整為 S3SignerType
在「部署新專案-專案設定」時,可接入自備的華為雲物件儲存 OBS 作為 AI 檔案伺服器。
1)當部署多應用叢集專案時,勾選「AI」部署模組,AI檔案服務支援選擇「對接已有服務」。
2)下拉頁面,在「AI檔案服務」中輸入第三章準備的相關資訊。
3)點選「測試連結」,提示「測試連結成功」,即代表可正常對接。
在「新增組件」時,可接入自備的華為雲物件儲存 OBS 作為 AI 檔案伺服器。
1)管理者選擇對應專案,進入「維護>組件管理」
2)點選「新增組件>業務組件」,選擇「AI」組件
3)在 AI 檔案服務中,選擇「對接已有檔案服務(S3)」
4)輸入第三章準備的相關資訊,點選「儲存」,提示「連結成功」,即代表可正常對接
在專案部署成功後,可透過維運平台的「叢集管理」,為 DataAgent 接入華為雲物件儲存 OBS 作為檔案服務。
1)管理者登入維運平台,選中指定專案。
2)點選「維護>叢集管理」,對「AI 檔案伺服器」進行配置。
3)輸入第三章準備的相關資訊。
4)點選「儲存」,提示「連結成功」,即代表可正常對接。