手動搭建本地 HDFS 檔案系統,對於使用者的維運能力要求過高,但使用者又希望使用高可用的 AI 檔案伺服器。
支援的雲儲存檔案系統包括:阿里雲OSS、華為雲OBS 、亞馬遜雲S3。其他自行搭建的 S3 平台不確定支援。
本文主要講解帆軟叢集與阿里雲物件儲存OSS的對接:
使用者需要自行購買並準備阿里雲物件儲存OSS。
在 DataAgent 部署好後,可將 DataAgent 與該雲儲存系統對接。
帆軟不提供相關資料和指導,僅對必要內容進行指明,請查閱阿里雲官網獲取其他幫助。請參見:阿里雲對象儲存OSS
自行購買阿里雲物件儲存OSS
1)登入阿里雲RAM 存取控制
2)建立RAM使用者
點選「身分管理>使用者」,點選「建立使用者」
務必勾選「OpenAPI 呼叫存取」,以生成AccessKeyId和AccessKeySecret
3)複製AccessKey資訊
建立成功後,請務必記錄下AccessKeyId和AccessKeySecret,下文需要用到
後續無法再次查詢到對應Secret,只能重新增立
4)分配權限
勾選該使用者,點選「新增授權」
為使用者分配AliyunOSSFullAccess:管理物件儲存服務(OSS)權限
2)建立Bucket(儲存空間)
3)點選進入Bucket,在「檔案管理>檔案列表」中建立目錄
用於儲存工程檔案和工程備份檔案
範例目錄:fanruan
4)點選進入上一節建立的目錄,建立子目錄,推薦命名為 dora,用於儲存工程檔案
Bucket
Endpoint
Region
配置項說明:
Bucket:儲存空間,用於儲存物件的容器
Endpoint:OSS對外服務的存取域名
Region:OSS的資料中心所在物理位置。注意不包含前綴的Bucket,例如範例的Region最終值為:oss-cn-beijing.aliyuncs.com
獲取方式:
1)登入阿里雲物件儲存OSS控制台
2)點選「Bucket列表」,點選工程檔案所在Bucket
3)點選「概覽」,即可查看到相關資訊
AccessKeyId
AccessKeySecret
AccessKey是阿里雲提供給使用者的永久存取憑據
AccessKeyId:用於標識使用者
AccessKeySecret:是一個用於驗證你擁有該AccessKey ID的密碼
推薦建立RAM使用者並配置AccessKey(上文建立RAM使用者時已記錄相關資訊)
如果遺失這個 AccessKey,只能建立新的來替代,如何建立:建立AccessKey
檔案服務的根目錄名稱,即儲存工程檔案的目錄完整地址
本範例為fanruan/dora/
注:
1)「路徑」必須以「/」結尾,開頭不能加「/」。
2)「路徑」不能是相對路徑。
PathStyleAccess
存取OSS儲存桶時,URL的路徑結構,一般情況下無需配置
false:預設值,虛擬主機樣式,儲存桶名稱為主機名的一部分,這種方式是阿里雲OSS的推薦存取方式,通常用於生產環境中
true:路徑樣式,儲存桶名稱為路徑的一部分,如叢集對接OSS時,出現憑證或unknownhost相關報錯,可調整為true
允許使用者指定請求籤名的算法或版本,一般情況下無需配置
如叢集對接OSS時,出現憑證或unknownhost相關報錯,可調整為S3SignerType
在「部署新專案-專案設定」時,可接入自備的阿里雲物件儲存 OSS作為 AI 檔案伺服器。
1)當部署多應用叢集專案時,勾選「AI」部署模組,AI檔案服務支援選擇「對接已有服務」。
2)下拉頁面,在「AI檔案服務」中輸入第三章準備的相關資訊。
3)點選「測試連結」,提示「測試連結成功」,即代表可正常對接。
在「新增組件」時,可接入自備的阿里雲物件儲存 OSS作為 AI 檔案伺服器。
1)管理者選擇對應專案,進入「維護>組件管理」
2)點選「新增組件>業務組件」,選擇「AI」組件
3)在 AI 檔案服務中,選擇「對接已有檔案服務(S3)」
4)輸入第三章準備的相關資訊,點選「儲存」,提示「連結成功」,即代表可正常對接
在專案部署成功後,可透過維運平台的「叢集管理」,為 DataAgent 接入阿里雲物件儲存 OSS 作為檔案服務。
1)管理者登入維運平台,選中指定專案。
2)點選「維護>叢集管理」,對「AI 檔案伺服器」進行配置。
3)輸入第三章準備的相關資訊。
4)點選「儲存」,提示「連結成功」,即代表可正常對接。