確認DataAgent專案伺服器配置

  • 編輯次數:1
  • 1. 簡介

    本文按照日活使用者及高峰使用人數劃分,提供高、中、低三種標準方案,請按需選擇。

    1.1 用量定義

    • 日活使用者數:每天登入過 FineBI 或 DataAgent 系統的使用者數量去重,取平均值

    • 高峰使用人數(併發):可統計晨會、集中培訓等集中存取場景

    • 如已有 FineBI 時,可參考其日活及併發使用情況

    1.2 方案適用須知

    • 本方案基於全新部署場景推薦配置。若隨工程使用時間及用量增長,現有伺服器資源不足,需要進行擴容,請聯絡帆軟技術支援以獲得進一步支援

    • 若業務用量尚不明確時,優先按中配方案評估。

    1.3 方案配置須知

    1)本文按照全新部署 DataAgent 組件進行推薦。

    2)每個方案均必須使用 S3 檔案伺服器,如尚未單獨準備,將預設優先複用 BI 的檔案伺服器 MinIO。

    3)不同方案所需檔案服務配置已在下文表格中給出,支援自備檔案服務或參考以下文檔單獨準備:

    2. 方案簡介

    注:

    1)表格中的「DataAgent所有組件」指以下4個組件:fine-ai、fine-chat-bi-parser、fine-ai-redis、postgresql。

    2)下文僅列出部署DataAgent所需的資源,FineOps 及 FineBI 所需的資源需另行準備。

    方案
    低配版本中配版本高配版本
    業務量級
    • 應用節點:單業務節點,非高可用

    • 日活使用者數:0-500

    • 高峰使用人數(併發):50

    • 應用節點:單業務節點,非高可用

    • 日活使用者數:0-1000

    • 高峰使用人數(併發):100


    • 應用節點:多應用節點,支援業務高可用

    • 日活使用者數:0-2000

    • 高峰使用人數(併發):200

    伺服器資源要求

    1台主應用伺服器:CPU16核、記憶體32G、磁碟500G

    部署「DataAgent所有組件」

    1台主應用伺服器:CPU16核、記憶體64G、磁碟500G

    部署「DataAgent所有組件」



    1)1台主應用伺服器:CPU16核、記憶體64G、磁碟500G

    部署「DataAgent所有組件」

    2)1台擴展節點伺服器:CPU8核、記憶體32G、磁碟300G

    僅用於部署「fine-ai組件」

    S3檔案服務資源要求
    • CPU2核

    • 記憶體4G

    • 磁碟200G

    • CPU4核

    • 記憶體8G

    • 磁碟500G

    • CPU4核

    • 記憶體8G

    • 磁碟500G

    注意事項

    1)高配版本要求對應的FineBI工程有至少2個bi-web,否則無法支援表格的日活及併發量。

    2)「fine-ai組件」預設只有1個worker,支援50併發;中配和高配在部署時,需為「fine-ai組件」配置雙worker,使其支援100併發。

    3)S3檔案服務推薦使用者自備,未準備時,將優先複用 BI 的檔案伺服器 MinIO,請按上述S3檔案服務資源要求評估擴容 MinIO 所在機器。

    3. 低配版伺服器配置

    請務必確定用量滿足:日活使用者數0~500,最高併發數在 50 以下。

    包括一台主應用伺服器:CPU16核、記憶體32G、磁碟500G

    • 部署「DataAgent所有組件」:

      • fine-ai 組件:CPU 4核、記憶體 8G

      • fine-chat-bi-parser 組件:CPU 4核、記憶體 4G

      • fine-ai-redis 組件:CPU 4核、記憶體 4G

      • postgresql 組件:CPU 4核、記憶體 8G

    伺服器基礎要求時間一致Data Agent 組件伺服器與專案其他伺服器時間一致,相差不能超過5秒

    伺服器時間不一致,可能會導致定時任務執行錯誤、日誌記錄混亂、資料不一致等多種問題

    時區一致

    Data Agent 組件伺服器與專案其他伺服器時區完全一致

    伺服器時區不一致,可能會導致定時任務執行錯誤、日誌記錄混亂、資料不一致等多種問題

    內網互通

    Data Agent 組件伺服器與專案其他伺服器內網互通,或可以開放埠存取

    下文將具體講述對應埠開放要求

    不建議虛擬機由於虛擬機自身的特性,會存在資源競爭等情況,可能導致出現預期外的系統故障,因此不建議在虛擬機中部署帆軟應用
    作業系統作業系統類型
    Linux
    作業系統架構
    • X86_64

    • ARM

    注:Data Agent 服務支援部署在信創伺服器中,根據CPU架構選用對應的鏡像包即可。

    作業系統核心3.10 版本及以上
    作業系統軟體

    推薦:Ubuntu 22 版本

    支援:

    • Ubuntu 18.04.4 及以上版本(不支援 Ubuntu20.04 版本 )

    • CentOS 7.3~7.9 版本

    • redhat 7.6 及以上版本

    • Rocky Linux 8.8~9.4版本

    注:CentOS 作業系統目前已停止服務,因此帆軟優先推薦使用 Ubuntu 作業系統

          使用 Ubuntu 作業系統時,請注意檢查使用者權限(預設 root 使用者不是超管),下文已詳細備註

    CPUCPU核數

    16核

    CPU型號

    -

    CPU主頻2.5GHz及以上
    記憶體剩餘閒置
    物理記憶體
    32G
    磁碟剩餘閒置
    磁碟大小
    伺服器中存在一個分割槽剩餘可用空間大於 500G

    注:必須要有任一分割槽滿足條件,不可將分割槽容量加和

    磁碟效能最低效能要求為固態硬碟(SSD)
    外掛目錄準備外掛目錄準備FineBI專案掛載目錄

    注:禁止直接使用/、/usr、/root、/usr/local四個目錄作為掛載目錄,可在對應位置建立資料夾使用

    檔案系統自動掛載

    外掛目錄對應的檔案系統需要配置重啟自動掛載

    如果沒有配置重啟自動掛載,那麼容器可能無法存取這些掛載目錄,導致資料丟失或應用程式無法正常啟動

    非共享路徑

    外掛目錄不能是一個共享路徑

    共享檔案系統可能導致效能下降、檔案權限問題和資料一致挑戰,這些問題會影響容器應用程式的可靠性和速度

    權限與命令tar命令
    確定伺服器已安裝tar命令

    tar命令是一個用於打包和壓縮檔案的常用命令列工具

    維運平台需要使用該命令進行檔案解壓

    sed命令

    確定伺服器已安裝sed命令

    sed命令是一個用於處理文字的工具

    維運平台需要使用該命令進行文字處理

    ssh

    確定使用者可以透過ssh連結伺服器

    確定使用者的ssh連結密碼無英文單引號字元,否則部署時權限檢查無法透過

    sudo權限

    用於部署專案的伺服器使用者,必須具備相關sudo權限

    1)優先推薦使用root超管使用者進行專案部署和運作

    2)如需使用非超管root使用者進行專案的部署和運作

    請參考文檔:Linux使用者權限說明

    注:Ubuntu作業系統,預設root使用者並非超管使用者,請務必再次確認所準備的使用者是否滿足上方超連結的linux使用者權限

    埠網路內網時延<1ms
    請確定預設容器映射埠是否已被使用,如已被使用,請安排好其他閒置埠

    伺服器需要對外開放一些埠,以確定組件間正常工作

    埠佔用檢查和防火牆放行方法請參考:埠佔用檢查與防火牆配置

    作用

    DataAgent主應用伺服器組件

    埠對其他機器通訊情況
    機器sshDataAgent主應用伺服器
    -存取->

    維運平台nginx,預設埠如下:

    • root使用者部署:80

    • 非root使用者部署:8090

    • 配置了SSL:443

    存取->

    維運平台registry

    預設埠:5000

    存取->

    FineBI平台nginx,預設埠如下:

    • HTTP:80

    • 配置了SSH:443

    • 非root部署時,需另行指定

    存取->

    FineBI平台minio

    預設埠:9000

    存取->大模型服務,埠按大模型服務配置
    存取->自備S3檔案伺服器,埠按檔案伺服器配置
    機器sshDataAgent主應用伺服器22<-存取維運平台伺服器
    FineAI 容器fine-ai7666<-存取

    所有bi-web

    預設埠:8080

    語意解析小模型fine-chat-bi-parser8666<-存取

    所有bi-web

    預設埠:8080

    狀態服務
    fine-ai-redis6679<-存取

    fine-chat-bi-parser

    預設埠:8666

    對話儲存庫
    postgresql5432<-存取fine-ai
    維運管理組件(管理應用)ops_agent9070/


    S3檔案服務資源
    • CPU:2核

    • 記憶體:4G

    • 磁碟:200G

    4. 中配版伺服器配置

    包括一台伺服器:CPU16核、記憶體32G、磁碟500G

    • fine-ai 組件:CPU 4核、記憶體 16G

    • fine-chat-bi-parser 組件:CPU 4核、記憶體 16G

    • fine-ai-redis 組件:CPU 4核、記憶體 8G

    • postgresql 組件:CPU 4核、記憶體 8G

    分類
    說明
    伺服器基礎要求時間一致Data Agent 組件伺服器與專案其他伺服器時間一致,相差不能超過5秒

    伺服器時間不一致,可能會導致定時任務執行錯誤、日誌記錄混亂、資料不一致等多種問題

    時區一致

    Data Agent 組件伺服器與專案其他伺服器時區完全一致

    伺服器時區不一致,可能會導致定時任務執行錯誤、日誌記錄混亂、資料不一致等多種問題

    內網互通

    Data Agent 組件伺服器與專案其他伺服器內網互通,或可以開放埠存取

    下文將具體講述對應埠開放要求

    不建議虛擬機由於虛擬機自身的特性,會存在資源競爭等情況,可能導致出現預期外的系統故障,因此不建議在虛擬機中部署帆軟應用
    不支援K8S

    不支援在 Kubernetes 環境中部署 Data Agent 組件,請勿準備相關環境(FineBI 服務可部署在 K8S中,但需要為 Data Agent 組件準備非 K8S 環境)

    更多特殊伺服器情況請聯絡帆軟技術支援確認。

    作業系統作業系統類型
    Linux
    作業系統架構
    • X86_64

    • ARM

    注:FineBI 的 Data Agent 服務支援部署在 ARM 架構的信創伺服器中。

    作業系統核心3.10 版本及以上
    作業系統軟體

    推薦:Ubuntu 22 版本

    支援:

    • Ubuntu 18.04.4 及以上版本(不支援 Ubuntu20.04 版本 )

    • CentOS 7.3~7.9 版本

    • redhat 7.6 及以上版本

    • Rocky Linux 8.8~9.4版本

    注:CentOS 作業系統目前已停止服務,因此帆軟優先推薦使用 Ubuntu 作業系統

          使用 Ubuntu 作業系統時,請注意檢查使用者權限(預設 root 使用者不是超管),下文已詳細備註

    CPUCPU核數

    16核

    CPU型號

    -

    CPU主頻2.5GHz及以上
    記憶體剩餘閒置
    物理記憶體
    64G
    磁碟剩餘閒置
    磁碟大小
    伺服器中存在一個分割槽剩餘可用空間大於 500G

    注:必須要有任一分割槽滿足條件,不可將分割槽容量加和

    磁碟效能最低效能要求為固態硬碟(SSD)
    外掛目錄準備外掛目錄準備FineBI專案掛載目錄

    注:禁止直接使用/、/usr、/root、/usr/local四個目錄作為掛載目錄,可在對應位置建立資料夾使用

    檔案系統自動掛載

    外掛目錄對應的檔案系統需要配置重啟自動掛載

    如果沒有配置重啟自動掛載,那麼容器可能無法存取這些掛載目錄,導致資料丟失或應用程式無法正常啟動

    非共享路徑

    外掛目錄不能是一個共享路徑

    共享檔案系統可能導致效能下降、檔案權限問題和資料一致挑戰,這些問題會影響容器應用程式的可靠性和速度

    權限與命令tar命令
    確定伺服器已安裝tar命令

    tar命令是一個用於打包和壓縮檔案的常用命令列工具

    維運平台需要使用該命令進行檔案解壓

    sed命令

    確定伺服器已安裝sed命令

    sed命令是一個用於處理文字的工具

    維運平台需要使用該命令進行文字處理

    ssh

    確定使用者可以透過ssh連結伺服器

    確定使用者的ssh連結密碼無英文單引號字元,否則部署時權限檢查無法透過

    sudo權限

    用於部署專案的伺服器使用者,必須具備相關sudo權限

    1)優先推薦使用root超管使用者進行專案部署和運作

    2)如需使用非超管root使用者進行專案的部署和運作

    請參考文檔:Linux使用者權限說明

    注:Ubuntu作業系統,預設root使用者並非超管使用者,請務必再次確認所準備的使用者是否滿足上方超連結的linux使用者權限

    埠網路內網時延<1ms
    請確定預設容器映射埠是否已被使用,如已被使用,請安排好其他閒置埠

    伺服器需要對外開放一些埠,以確定組件間正常工作

    埠佔用檢查和防火牆放行方法請參考:埠佔用檢查與防火牆配置

    作用

    DataAgent主應用伺服器組件

    埠對其他機器通訊情況
    機器sshDataAgent主應用伺服器
    -存取->

    維運平台nginx,預設埠如下:

    • root使用者部署:80

    • 非root使用者部署:8090

    • 配置了SSL:443

    存取->

    維運平台registry

    預設埠:5000

    存取->

    FineBI平台nginx,預設端如下:

    • HTTP:80

    • 配置了SSH:443

    • 非root部署時,需另行指定

    存取->

    FineBI平台minio

    預設埠:9000

    存取->大模型服務,埠按大模型服務配置
    存取->自備S3檔案伺服器,埠按檔案伺服器配置
    機器sshDataAgent主應用伺服器22<-存取維運平台伺服器
    FineAI 容器fine-ai7666<-存取

    所有bi-web

    預設埠:8080

    語意解析小模型fine-chat-bi-parser8666<-存取

    所有bi-web

    預設埠:8080

    狀態服務
    fine-ai-redis6679<-存取

    fine-chat-bi-parser

    預設埠:8666

    對話儲存庫
    postgresql5432<-存取fine-ai
    維運管理組件(管理應用)ops_agent9070/


    S3檔案服務資源
    • CPU:4核

    • 記憶體:8G

    • 磁碟:500G

    5. 高配版伺服器配置

    包括兩台伺服器:主應用伺服器、組件伺服器

    • 主應用伺服器:CPU16核、記憶體64G、磁碟500G,部署「DataAgent所有組件」:

      • fine-ai 組件:CPU 4核、記憶體 16G

      • fine-chat-bi-parser 組件:CPU 4核、記憶體 16G

      • fine-ai-redis 組件:CPU 4核、記憶體 8G

      • postgresql 組件:CPU 4核、記憶體 8G

    • 組件伺服器:CPU8核、記憶體32G、磁碟300G,部署「fine-ai組件」

    分類
    DataAgent主應用伺服器DataAgent組件伺服器
    伺服器基礎要求時間一致Data Agent 組件伺服器與專案其他伺服器時間一致,相差不能超過5秒

    伺服器時間不一致,可能會導致定時任務執行錯誤、日誌記錄混亂、資料不一致等多種問題

    時區一致

    Data Agent 組件伺服器與專案其他伺服器時區完全一致

    伺服器時區不一致,可能會導致定時任務執行錯誤、日誌記錄混亂、資料不一致等多種問題

    內網互通

    Data Agent 組件伺服器與專案其他伺服器內網互通,或可以開放埠存取

    下文將具體講述對應埠開放要求

    不建議虛擬機由於虛擬機自身的特性,會存在資源競爭等情況,可能導致出現預期外的系統故障,因此不建議在虛擬機中部署帆軟應用
    不支援K8S

    不支援在 Kubernetes 環境中部署 Data Agent 組件,請勿準備相關環境(FineBI 服務可部署在 K8S中,但需要為 Data Agent 組件準備非 K8S 環境)

    更多特殊伺服器情況請聯絡帆軟技術支援確認。

    作業系統作業系統類型
    Linux
    作業系統架構
    • X86_64

    • ARM

    注:FineBI 的 Data Agent 服務支援部署在 ARM 架構的信創伺服器中。

    作業系統核心3.10 版本及以上
    作業系統軟體

    推薦:Ubuntu 22 版本

    支援:

    • Ubuntu 18.04.4 及以上版本(不支援 Ubuntu20.04 版本 )

    • CentOS 7.3~7.9 版本

    • redhat 7.6 及以上版本

    • Rocky Linux 8.8~9.4版本

    注:CentOS 作業系統目前已停止服務,因此帆軟優先推薦使用 Ubuntu 作業系統

          使用 Ubuntu 作業系統時,請注意檢查使用者權限(預設 root 使用者不是超管),下文已詳細備註

    CPUCPU核數

    16核

    8核
    CPU型號

    -

    CPU主頻2.5GHz及以上
    記憶體剩餘閒置
    物理記憶體
    64G32G
    磁碟剩餘閒置
    磁碟大小
    伺服器中存在一個分割槽剩餘可用空間大於 500G

    注:必須要有任一分割槽滿足條件,不可將分割槽容量加和

    伺服器中存在一個分割槽剩餘可用空間大於 300G

    注:必須要有任一分割槽滿足條件,不可將分割槽容量加和

    磁碟效能最低效能要求為固態硬碟(SSD)
    外掛目錄準備外掛目錄準備FineBI專案掛載目錄

    注:禁止直接使用/、/usr、/root、/usr/local四個目錄作為掛載目錄,可在對應位置建立資料夾使用

    檔案系統自動掛載

    外掛目錄對應的檔案系統需要配置重啟自動掛載

    如果沒有配置重啟自動掛載,那麼容器可能無法存取這些掛載目錄,導致資料丟失或應用程式無法正常啟動

    非共享路徑

    外掛目錄不能是一個共享路徑

    共享檔案系統可能導致效能下降、檔案權限問題和資料一致挑戰,這些問題會影響容器應用程式的可靠性和速度

    權限與命令tar命令
    確定伺服器已安裝tar命令

    tar命令是一個用於打包和壓縮檔案的常用命令列工具

    維運平台需要使用該命令進行檔案解壓

    sed命令

    確定伺服器已安裝sed命令

    sed命令是一個用於處理文字的工具

    維運平台需要使用該命令進行文字處理

    ssh

    確定使用者可以透過ssh連結伺服器

    確定使用者的ssh連結密碼無英文單引號字元,否則部署時權限檢查無法透過

    sudo權限

    用於部署專案的伺服器使用者,必須具備相關sudo權限

    1)優先推薦使用root超管使用者進行專案部署和運作

    2)如需使用非超管root使用者進行專案的部署和運作

    請參考文檔:Linux使用者權限說明

    注:Ubuntu作業系統,預設root使用者並非超管使用者,請務必再次確認所準備的使用者是否滿足上方超連結的linux使用者權限

    埠網路內網時延<1ms

    請確定預設容器映射埠是否已被使用,如已被使用,請安排好其他閒置埠

    伺服器需要對外開放一些埠,以確定組件間正常工作

    埠佔用檢查和防火牆放行方法請參考:埠佔用檢查與防火牆配置

    作用

    DataAgent主應用伺服器組件

    埠對其他機器通訊情況
    機器sshDataAgent主應用伺服器
    -存取->

    維運平台nginx,預設埠如下:

    • root使用者部署:80

    • 非root使用者部署:8090

    • 配置了SSL:443

    存取->

    維運平台registry

    預設埠:5000

    存取->

    FineBI平台nginx,預設埠如下:

    • HTTP:80

    • 配置了SSH:443

    • 非root部署時,需另行指定

    存取->

    FineBI平台minio

    預設埠:9000

    存取->大模型服務,埠按大模型服務配置
    存取->自備S3檔案伺服器,埠按檔案伺服器配置
    機器sshDataAgent主應用伺服器22<-存取維運平台服務器
    FineAI 容器fine-ai7666<-存取

    所有bi-web

    預設埠:8080

    語意解析小模型fine-chat-bi-parser8666<-存取

    所有bi-web

    預設埠:8080

    狀態服務
    fine-ai-redis6679<-存取

    fine-chat-bi-parser

    預設埠:8666

    對話儲存庫
    postgresql5432<-存取fine-ai
    <-存取DataAgent節點伺服器
    維運管理組件(管理應用)ops_agent9070/
    作用

    DataAgent節點伺服器組件

    埠對其他機器通訊情況
    機器sshDataAgent節點伺服器22<-存取維運平台伺服器
    FineAI 容器fine-ai7666<-存取

    所有bi-web

    預設埠:8080

    維運管理組件(管理應用)ops_agent9070/


    S3檔案服務資源
    • CPU:4核

    • 記憶體:8G

    • 磁碟:500G


    附件列表


    主題: 快速入門
    已經是第一篇
    • 有幫助
    • 沒幫助
    • 只是瀏覽