DataAgent對接MinIO實現檔案服務

  • 編輯次數:1
  • 1. 概述

    MinIO是一個靈活而強大的物件儲存伺服器,旨在提供高效能、可擴展和易於部署的分佈式儲存系統。

    在帆軟叢集專案中,AI 檔案伺服器用於儲存和共享叢集中所需的檔案,以確定每個節點都可以存取並使用它們。

    本文主要講解帆軟 DataAgent 叢集專案如何對接 MinIO,作為叢集 AI 檔案服務:

    • 使用者可自行準備一個MinIO,並進行參數調優

    • 在專案部署好後,可將專案與該 AI 檔案伺服器對接

    icon提示:

    MinIO使用的是S3協定,有着獨特的檔案儲存邏輯。

    請勿直接使用FileZilla等FTP工具連結MinIO,進行檔案的上傳/下載。

    請透過瀏覽器存取MinIO伺服器的地址,然後使用提供的Web介面進行檔案的上傳和下載。

    詳情請參見:MinIO檔案伺服器簡介

    2. 準備AI檔案伺服器

    使用者需要自行準備並部署MinIO。

    帆軟不提供相關資料和指導,僅對必要內容進行指明,請查閱相關官網獲取其他幫助。

    2.1 伺服器配置

    配置類型最低配置推薦配置
    物理記憶體4G8G
    CPU2.5GHz以上

    2核

    2.5GHz以上

    4核

    可用磁碟空間

    200 GB SSD

    後續請根據使用情況擴展

    800 GB SSD以上

    後續請根據使用情況擴展

    網路要求1)AI 檔案服務和應用工程、其他組件建議在同一網段,避免網路波動等問題

    2)AI 檔案服務和應用工程、其他組件如處於公網環境,帶寬需在10M以上

    3)AI 檔案服務和應用工程、其他組件之間需要網路暢通,互相埠可存取

    2.2 部署MinIO及準備MinIO資訊

    使用者需要自行準備並部署MinIO。

    帆軟不提供相關資料和指導,僅對必要內容進行指明,請查閱相關官網獲取其他幫助。

    本文基於MinIO官方部署指南,對必要對接資訊的獲取進行指明。

    資訊
    說明
    EndpointMinIO API 存取地址,
    • 格式:http://IP:port 或 https://IP:port

    • IP:MinIO 所在伺服器的 IP 或域名

    • port:MinIO 的 API 埠,預設為 9000 。

    如自訂 API 埠,一般是在 /etc/default/minio 建立的環境變數檔案中,設定的 MINIO_OPTS 的 --address 值(注意不是 --console-address 值,--console-address 是控制台埠)

    AccessKeyId

    MinIO管理者名稱

    即在/etc/default/minio建立的環境變數檔案中,設定的MINIO_ROOT_USER的值

    AccessKeySecret

    MinIO管理者密碼

    即在/etc/default/minio建立的環境變數檔案中,設定的MINIO_ROOT_PASSWORD的值

    3. 準備檔案儲存路徑

    使用者需要準備一個目錄,用於儲存工程檔案和工程備份檔案。並確定上文的MinIO管理者有該目錄的讀寫執行權限。

    3.1 登入MinIO控制台

    使用者需要透過瀏覽器存取 MinIO 伺服器的地址,然後使用提供的 Web 介面進行檔案的上傳和下載。

    1)在瀏覽器視窗存取 MinIO 的 Console 控制台

    地址形如:http://IP:port 或 https://IP:port

    • IP:MinIO 所在伺服器的 IP 或域名

    • port:MinIO 的控制台埠,預設為 9001 。

    如自訂控制台埠,一般是在 /etc/default/minio 建立的環境變數檔案中,設定的 MINIO_OPTS 的 --console-address 值(注意不是 --address 值,--address 是 API 埠)

    2)輸入管理者帳號密碼

    帳號密碼為 2.2 節獲取的 MinIO 管理者帳號和密碼。

    3.2 建立Bucket儲存桶

    MinIO 物件儲存使用 Bucket 來組織物件。 Bucket 儲存桶類似於檔案系統中的頂級驅動器、資料夾或目錄。

    1)在 MinIO 控制台,點選左側導航欄的「Buckets」,點選「Create Bucket」按鈕。

    2)輸入桶名稱,範例為「fanruan」,點選「Create Bucket」完成建立。

    注1:使用者可透過左側導航欄的「Identity」為管理者分配桶權限,本文不做示範。

               請確定 2.2 節準備的 MinIO 管理者有該桶的增刪讀寫權限即可。

    注2:為確定系統穩定性

    • 優先建議該 MinIO 完全用於單個專案的叢集檔案服務,完全不做他用。

    • 請至少確定該 Bucket 儲存桶僅用於單個專案的叢集檔案服務。

    • 請至少確定叢集檔案服務與 FineBI 資料儲存服務使用完全獨立的儲存空間,分別配置兩個獨立的 Bucket 。

    注3:請勿為該 Bucket 開啟「版本控制」功能,否則工程與 MinIO 對接將失敗。

               版本控制功能一旦開啟,即使隨後關閉也會影響對接,必須刪除該 Bucket 並重建立立。

    3.3 建立檔案儲存路徑

    Bucket 儲存桶建立完畢後,使用者需要在桶內準備好儲存工程檔案的路徑。

    1)在 MinIO 控制台,點選左側導航欄的「Object Browser」,點選上一節建立的 Bucket 儲存桶「fanruan」。

    2)點選「Create new path」,在該桶內建立一個目錄,用於儲存工程檔案和工程備份檔案

    範例目錄:webroot

    3)點選進入上一節建立的目錄,建立子目錄,推薦命名為dora,用於儲存工程檔案

    3.4 準備MinIO對接資訊

    基於上文3.1~3.4節,對必要對接資訊的獲取進行指明。

    資訊
    說明
    Bucket

    3.2節建立的儲存桶的名稱

    範例為:fanruan

    路徑

    檔案服務的根目錄名稱,即3.3節建立的儲存工程檔案的目錄完整地址

    本範例為webroot/dora/

    注1:「路徑」必須以「/」結尾,開頭不能加「/」。

    注2:「路徑」不能是相對路徑。

    4. 使用前提

    1)請務必參考 3.4 節,將當前工程檔案上傳到準備好的 MinIO 物件儲存的工程檔案儲存目錄中。

    2)確認是否需要安裝「共享外部目錄」插件

    帆軟叢集與 MinIO 的對接,依賴「MinIO資源倉庫」插件,該插件預設已安裝。

    管理者登入帆軟應用,點選「管理系統>插件管理>我的插件」,可查看是否正常啟動「MinIO資源倉庫」插件。如已卸載,需要重新安裝。

    5. 修改AI檔案服務

    在專案部署成功後,可透過維運平台的「叢集管理」,為 DataAgent 接入 MinIO 物件儲存作為檔案服務。

    1)管理者登入維運平台,選中指定專案。

    2)點選「維護>叢集管理」,對「AI 檔案伺服器」進行配置。

    3)協定選擇 MinIO ,輸入 2.2 節和 3.4 節準備的相關資訊

    4)點選「儲存」,提示「連結成功」,即代表可正常對接。


    附件列表


    主題: 快速入門
    已經是第一篇
    • 有幫助
    • 沒幫助
    • 只是瀏覽