MinIO是一個靈活而強大的物件儲存伺服器,旨在提供高效能、可擴展和易於部署的分佈式儲存系統。
在帆軟叢集專案中,AI 檔案伺服器用於儲存和共享叢集中所需的檔案,以確定每個節點都可以存取並使用它們。
本文主要講解帆軟 DataAgent 叢集專案如何對接 MinIO,作為叢集 AI 檔案服務:
使用者可自行準備一個MinIO,並進行參數調優
在專案部署好後,可將專案與該 AI 檔案伺服器對接
MinIO使用的是S3協定,有着獨特的檔案儲存邏輯。
請勿直接使用FileZilla等FTP工具連結MinIO,進行檔案的上傳/下載。
請透過瀏覽器存取MinIO伺服器的地址,然後使用提供的Web介面進行檔案的上傳和下載。
詳情請參見:MinIO檔案伺服器簡介
使用者需要自行準備並部署MinIO。
帆軟不提供相關資料和指導,僅對必要內容進行指明,請查閱相關官網獲取其他幫助。
2核
4核
200 GB SSD
後續請根據使用情況擴展
800 GB SSD以上
2)AI 檔案服務和應用工程、其他組件如處於公網環境,帶寬需在10M以上
3)AI 檔案服務和應用工程、其他組件之間需要網路暢通,互相埠可存取
本文基於MinIO官方部署指南,對必要對接資訊的獲取進行指明。
格式:http://IP:port 或 https://IP:port
IP:MinIO 所在伺服器的 IP 或域名
port:MinIO 的 API 埠,預設為 9000 。
如自訂 API 埠,一般是在 /etc/default/minio 建立的環境變數檔案中,設定的 MINIO_OPTS 的 --address 值(注意不是 --console-address 值,--console-address 是控制台埠)
MinIO管理者名稱
即在/etc/default/minio建立的環境變數檔案中,設定的MINIO_ROOT_USER的值
MinIO管理者密碼
即在/etc/default/minio建立的環境變數檔案中,設定的MINIO_ROOT_PASSWORD的值
使用者需要準備一個目錄,用於儲存工程檔案和工程備份檔案。並確定上文的MinIO管理者有該目錄的讀寫執行權限。
使用者需要透過瀏覽器存取 MinIO 伺服器的地址,然後使用提供的 Web 介面進行檔案的上傳和下載。
1)在瀏覽器視窗存取 MinIO 的 Console 控制台
地址形如:http://IP:port 或 https://IP:port
port:MinIO 的控制台埠,預設為 9001 。
如自訂控制台埠,一般是在 /etc/default/minio 建立的環境變數檔案中,設定的 MINIO_OPTS 的 --console-address 值(注意不是 --address 值,--address 是 API 埠)
2)輸入管理者帳號密碼
帳號密碼為 2.2 節獲取的 MinIO 管理者帳號和密碼。
MinIO 物件儲存使用 Bucket 來組織物件。 Bucket 儲存桶類似於檔案系統中的頂級驅動器、資料夾或目錄。
1)在 MinIO 控制台,點選左側導航欄的「Buckets」,點選「Create Bucket」按鈕。
2)輸入桶名稱,範例為「fanruan」,點選「Create Bucket」完成建立。
注1:使用者可透過左側導航欄的「Identity」為管理者分配桶權限,本文不做示範。
請確定 2.2 節準備的 MinIO 管理者有該桶的增刪讀寫權限即可。
注2:為確定系統穩定性
優先建議該 MinIO 完全用於單個專案的叢集檔案服務,完全不做他用。
請至少確定該 Bucket 儲存桶僅用於單個專案的叢集檔案服務。
請至少確定叢集檔案服務與 FineBI 資料儲存服務使用完全獨立的儲存空間,分別配置兩個獨立的 Bucket 。
注3:請勿為該 Bucket 開啟「版本控制」功能,否則工程與 MinIO 對接將失敗。
版本控制功能一旦開啟,即使隨後關閉也會影響對接,必須刪除該 Bucket 並重建立立。
Bucket 儲存桶建立完畢後,使用者需要在桶內準備好儲存工程檔案的路徑。
1)在 MinIO 控制台,點選左側導航欄的「Object Browser」,點選上一節建立的 Bucket 儲存桶「fanruan」。
2)點選「Create new path」,在該桶內建立一個目錄,用於儲存工程檔案和工程備份檔案
範例目錄:webroot
3)點選進入上一節建立的目錄,建立子目錄,推薦命名為dora,用於儲存工程檔案
基於上文3.1~3.4節,對必要對接資訊的獲取進行指明。
3.2節建立的儲存桶的名稱
範例為:fanruan
檔案服務的根目錄名稱,即3.3節建立的儲存工程檔案的目錄完整地址
本範例為webroot/dora/
注1:「路徑」必須以「/」結尾,開頭不能加「/」。
注2:「路徑」不能是相對路徑。
1)請務必參考 3.4 節,將當前工程檔案上傳到準備好的 MinIO 物件儲存的工程檔案儲存目錄中。
2)確認是否需要安裝「共享外部目錄」插件
帆軟叢集與 MinIO 的對接,依賴「MinIO資源倉庫」插件,該插件預設已安裝。
管理者登入帆軟應用,點選「管理系統>插件管理>我的插件」,可查看是否正常啟動「MinIO資源倉庫」插件。如已卸載,需要重新安裝。
點選下載插件:MinIO資源倉庫插件
插件安裝方法請參見:伺服器插件管理
在專案部署成功後,可透過維運平台的「叢集管理」,為 DataAgent 接入 MinIO 物件儲存作為檔案服務。
1)管理者登入維運平台,選中指定專案。
2)點選「維護>叢集管理」,對「AI 檔案伺服器」進行配置。
3)協定選擇 MinIO ,輸入 2.2 節和 3.4 節準備的相關資訊
4)點選「儲存」,提示「連結成功」,即代表可正常對接。