工程部署方案選擇

概述

本文將介紹單機和叢集工程部署的基本流程,方便大家直覺感受部署具體包含哪些操作。

本文面向正式工程,因此提供了配置外接資料庫、安全加固等後續操作。此類後續操作均為正式工程的建議操作,不強制要求。

本文僅介紹Linux系統&Tomcat中間軟體下的部署方案,其他不贅述。

注:推薦使用者使用Linux系統伺服器部署正式工程,原因請參見:Linux和Windows對比分析

第一步:確定部署工程節點數

帆軟應用支援單機和叢集部署,叢集則為多個工程節點。

一個伺服器只能部署叢集的一個工程節點,因此需要幾個工程節點就要準備幾個伺服器。

本文以三種場景進行配置推薦。若您的FineBI工程涉及多個場景,選擇其中的最高配置作為推薦配置即可。

使用者需要先參考 直連資料和抽取資料的差別 判斷自己使用的是「實時資料」還是「抽取資料」。

請按照工程預計併發數,確定部署單機還是叢集,確定部署多少個工程節點。

使用者維度說明:

使用者類型
說明
日活使用者數一日之內,FineBI工程登入的使用者數
線上使用者數同一時刻,FineBI工程上登入了的使用者數
併發使用者數

同一時刻,在FineBI工程上做操作的使用者數

即多少使用者同時對伺服器傳送請求,即伺服器同時處理多少使用者傳送來的請求

lic註冊時的併發限制

根據 IP 地址而非使用者數量進行統計,伺服器從請求中獲取 IP 地址,作為一個併發值

Lic 的該參數和下文使用者數無聯動

直連資料

場景說明:只使用直連資料,不使用抽取資料

叢集節點間、節點與其他組件間帶寬 1000Mb/s。

根據工程的併發及資料源 DB 的計算能力,落在多個配置區間時選較高的配置。

編輯併發對應快取不命中。

併發使用者數/秒的上限對應快取命中,下限對應快取不命中。

日活使用者數

線上使用者數

每小時

併發使用者數

每秒

編輯

併發數

資料源計算能力

每秒處理的計算數

推薦配置
最低配置
500<100<20<20<10單機,節點滿足:

CPU:8 核 16 執行緒 2.5GHZ

JVM 記憶體:16GB

物理記憶體:24G

單機,節點滿足:

CPU:4 核 8 執行緒 2.5GHZ

JVM 記憶體:8GB

物理記憶體:12G

2K100~1K40~9010~4010~20

2節點叢集,每個節點滿足:

CPU:16 核 32 執行緒 2.5GHZ

JVM 記憶體:16GB

物理記憶體:32G

單機,節點滿足:

CPU:16 核 32 執行緒 2.5GHZ

JVM 記憶體:16GB

物理記憶體:24G

3K600~1.5K60~13030~60≥30

3節點叢集,每個節點滿足:

CPU:16 核 32 執行緒 2.5GHZ

JVM 記憶體:16GB

物理記憶體:24G

2節點叢集,每個節點滿足:

CPU:16 核 32 執行緒 2.5GHZ

JVM 記憶體:24GB

物理記憶體:48G

4K600~2K60~17060~80≥30

4節點叢集,每個節點滿足:

CPU:16 核 32 執行緒 2.5GHZ

JVM 記憶體:16GB

物理記憶體:24G

3節點叢集,每個節點滿足:

CPU:16 核 32 執行緒 2.5GHZ

JVM 記憶體:24GB

物理記憶體:48G

抽取資料:高日活自助分析

場景說明:日活使用者較高的FineBI工程,使用者自助分析資料(對應 FineBI 查詢不命中快取)。

節點數概要估算併發:線上使用者數 Y = 300 * (節點數 X-1) + 400 。

磁碟吞吐率和帶寬要求大於 100MB/s(普通本地硬碟 HDD 效能),推薦 SSD固態硬碟。

JVM 記憶體≠整機記憶體,推薦 JVM 記憶體佔整機記憶體的 2/3 ~ 3/4 。

線上使用者數

每小時

併發使用者數

每秒

編輯

併發數

表數量/表大小

推薦配置
最低配置
<100<20<20<100張/<1T單機,節點滿足:

CPU:8 核 16 執行緒 2.5GHZ

JVM 記憶體:16GB

物理記憶體:32G

單機,節點滿足:

CPU:8 核 16 執行緒 2.5GHZ

JVM 記憶體:16GB

物理記憶體:32G

300~1K20~7010~40<100張/<1T

2節點叢集,每個節點滿足:

CPU:8 核 16 執行緒 2.5GHZ

JVM 記憶體:16GB

物理記憶體:32G

單機,節點滿足:

CPU:16 核 32 執行緒 2.5GHZ

JVM 記憶體:32GB

物理記憶體:64G

600~2K40~12030~60>2k張/>1T

2節點叢集,每個節點滿足:

CPU:16 核 32 執行緒 2.5GHZ

JVM 記憶體:32GB

物理記憶體:64G

2節點叢集,每個節點滿足:

CPU:16 核 32 執行緒 2.5GHZ

JVM 記憶體:24GB

物理記憶體:48G

900~3K50~16050~80>4k張/>2T

3節點叢集,每個節點滿足:

CPU:16 核 32 執行緒 2.5GHZ

JVM 記憶體:32GB

物理記憶體:64G

2節點叢集,每個節點滿足:

CPU:16 核 32 執行緒 2.5GHZ

JVM 記憶體:24GB

物理記憶體:48G

1.2K~3.5K60~19070~100>5k張/>3T

4節點叢集,每個節點滿足:

CPU:16 核 32 執行緒 2.5GHZ

JVM 記憶體:32GB

物理記憶體:64G

3節點叢集,每個節點滿足:

CPU:16 核 32 執行緒 2.5GHZ

JVM 記憶體:32GB

物理記憶體:64G

1.5K~4K80~22080~200>5k張/>3T

5節點叢集,每個節點滿足:

CPU:16 核 32 執行緒 2.5GHZ

JVM 記憶體:32GB

物理記憶體:64G

4節點叢集,每個節點滿足:

CPU:16 核 32 執行緒 2.5GHZ

JVM 記憶體:32GB

物理記憶體:64

抽取資料:併發查看儀表板

場景:對應使用者併發查看報表等場景。即通常5-10分鐘內累計存取使用者數Y(對應FineBI查詢快取全命中,即多個相同計算請求,引擎可以直接命中傳回結果)。

節點數概要估算併發:5分鐘併發使用者數 Y = 380*節點數X

每秒請求使用者數達到160時,對負載均衡伺服器的下載速度要求較高,需要達到100MB/s。

JVM 記憶體≠整機記憶體,推薦 JVM 記憶體佔整機記憶體的 2/3 ~ 3/4 。

使用者數

每5分鐘

使用者數

每秒

推薦配置
最低配置
~400402節點叢集,每個節點滿足:

CPU:8 核 16 執行緒 2.5GHZ

JVM 記憶體:16GB

物理記憶體:32G

單機,節點滿足:

CPU:16 核 32 執行緒 2.5GHZ

JVM 記憶體:32GB

物理記憶體:64G

400~80080

2節點叢集,每個節點滿足:

CPU:16 核 32 執行緒 2.5GHZ

JVM 記憶體:32GB

物理記憶體:64G

2節點叢集,每個節點滿足:

CPU:16 核 32 執行緒 2.5GHZ

JVM 記憶體:24GB

物理記憶體:48G

800~1.1K110

3節點叢集,每個節點滿足:

CPU:16 核 32 執行緒 2.5GHZ

JVM 記憶體:32GB

物理記憶體:64G

3節點叢集,每個節點滿足:

CPU:16 核 32 執行緒 2.5GHZ

JVM 記憶體:24GB

物理記憶體:48G

1.1K~1.6K160

4節點叢集,每個節點滿足:

CPU:16 核 32 執行緒 2.5GHZ

JVM 記憶體:32GB

物理記憶體:64G

3節點叢集,每個節點滿足:

CPU:16 核 32 執行緒 2.5GHZ

JVM 記憶體:32GB

物理記憶體:64G

1.6K~2K190

5節點叢集,每個節點滿足:

CPU:16 核 32 執行緒 2.5GHZ

JVM 記憶體:32GB

物理記憶體:64G

4節點叢集,每個節點滿足:

CPU:16 核 32 執行緒 2.5GHZ

JVM 記憶體:32GB

第二步:選擇工程部署方式

請根據各種部署方式的優缺點,選擇適合自己的部署方式。

  • 單機部署提供三種部署方式:容器化部署、部署包部署、獨立部署

  • 叢集部署提供四種部署方式:容器化部署標準抽取叢集、手動部署標準抽取叢集、手動部署高可用抽取叢集、手動部署標準直連叢集

工程類型部署方式
說明
單機容器化部署

優點:

部署成本低:一鍵部署,自帶JDK、Tomcat、FineBI工程和外接資料庫

啟動成本低:部署成功後預設新增好啟動參數,無需手動配置

異常影響小:工程環境容器化,每個工程的環境相互隔離,出現異常時影響範圍小

維運成本低:維運平台自動接入工程,對工程進行自動監視預警,維運成本低

部署包部署

優點:

部署成本低:一鍵部署,自帶JDK、Tomcat、FineBI工程


限制項:

只支援Tomcat部署,只支援x86和arm架構

部署完需要手動配置參數,以保證系統穩定運作

無法即時對系統運作情況進行監視警報

獨立部署

優點:

不限制中間軟體,不限制伺服器架構


限制項:

需提前部署準備JDK環境和Tomcat中間軟體

需提前準備好FineBI工程包

部署完需要手動配置參數,以保證系統穩定運作

無法即時對系統運作情況進行監視警報

叢集
標準抽取叢集容器化部署

優點:

部署成本低:一鍵部署抽取叢集,包括FineBI工程節點+負載均衡+狀態伺服器+檔案伺服器+外接資料庫


啟動成本低:部署成功後預設新增好啟動參數,無需手動配置

異常影響小:工程環境容器化,每個工程的環境相互隔離,出現異常時影響範圍小

維運成本低:維運平台自動接入工程,支援對伺服器、FineBI應用、組件服務等進行監視警報

業務高可用:提供更新任務異常恢復機制,節點同步,保證資料查詢高可用

查詢高併發:多節點同時提供查詢服務,實現負載均衡,併發效能隨節點線型增加

更新效能高:透過節點數增加,可提高更新效能

手動部署優點:

相比於直連叢集:

業務高可用:提供更新任務異常恢復機制,節點同步,保證資料查詢高可用

查詢高併發:多節點同時提供查詢服務,實現負載均衡,併發效能隨節點線型增加

更新效能高:透過節點數增加,可提高更新效能


限制項:

工程節點+負載均衡+狀態伺服器+檔案伺服器+配置庫都需手動部署、修改配置和串並起來

部署完需要手動配置參數,以保證系統穩定運作

無法即時對系統運作情況、伺服器、組件伺服器進行監視警報

高可用抽取叢集
手動部署優點:

相比於標準抽取叢集:叢集更加高可用,確定工程維運穩定


限制項:

需要進行復雜的配置,需要一定的技術水平和經驗,需要更多的硬體或虛擬資源

工程節點+負載均衡+狀態伺服器+檔案伺服器+配置庫都需手動部署、修改配置和串並起來

部署完需要手動配置參數,以保證系統穩定運作

無法即時對系統運作情況、伺服器、組件伺服器進行監視警報

標準直連叢集手動部署優點:

相比於單機工程,叢集中多個工程相互通訊共享資料和任務,可以提供更好的可延伸性和更高的效能,可以提高系統的負載能力和可用性,並確定系統的穩定性和一致

限制項:

此種部署方式,主要面向只有直連資料的工程,如有抽取資料,推薦部署抽取叢集

工程節點+負載均衡+狀態伺服器+檔案伺服器+配置庫都需手動部署、修改配置和串並起來

部署完需要手動配置參數,以保證系統穩定運作

無法即時對系統運作情況、伺服器、組件伺服器進行監視警報

第三步:查看具體部署方案

單機方案一:容器化部署

操作步驟
說明
1準備伺服器環境

準備FineBI工程、外接資料庫的伺服器環境

推薦環境:工程部署推薦環境

支援環境:單機工程部署支援環境

2容器化部署

1)安裝維運平台

2)使用維運平台介面化部署FineBI工程

3)部署成功後工程自動啟動,管理者即可存取工程

參考文檔:部署新專案

3後續操作1)容器化部署時,會自動安裝FineBI工程和外接資料庫,工程會自動接入外接資料庫,因此無需配置外接資料庫

2)建議參考文檔提高產品安全性:產品安全加固指導手冊

3)建議參考文檔提高維運穩定性:維運監視指導手冊

單機方案二:部署包部署

操作步驟
說明
1準備伺服器環境

準備FineBI工程的伺服器環境

準備並部署好外接資料庫

推薦環境:工程部署推薦環境

支援環境:單機工程部署支援環境

2部署包部署

1)下載、上傳、解壓伺服器部署包

2)語句啟動FineBI工程

3)啟動成功後,管理者即可存取工程

參考文檔:Linux下Tomcat伺服器部署包

3後續操作1)建議為正式工程配置外接資料庫:配置外接資料庫

2)建議參考文檔提高產品安全性:產品安全加固指導手冊

3)建議參考文檔提高維運穩定性:維運監視指導手冊

單機方案三:獨立部署

操作步驟
說明
1準備伺服器環境

準備FineBI工程的伺服器環境

準備並部署好Tomcat、JDK

準備並部署好外接資料庫

推薦環境:工程部署推薦環境

支援環境:單機工程部署支援環境

2獨立部署

1)上傳webroot工程檔案

2)上傳tools.jar檔案

3)語句啟動FineBI工程

4)啟動成功後,管理者即可存取工程

參考文檔:Linux下Tomcat獨立部署FineBI工程

3後續操作1)建議為正式工程配置外接資料庫:配置外接資料庫

2)建議參考文檔提高產品安全性:產品安全加固指導手冊

3)建議參考文檔提高維運穩定性:維運監視指導手冊

叢集方案一:容器化部署標準抽取叢集


操作步驟
說明
1準備伺服器環境

準備工程節點+負載均衡+狀態伺服器+檔案伺服器+配置庫部署環境

推薦環境:工程部署推薦環境

支援環境:非容器化叢集工程部署支援環境及配置

2容器化部署

1)安裝維運平台

2)使用維運平台介面化部署FineBI工程,會自動部署:

  • FineBI工程節點

  • MySQL外接資料庫

  • Nginx負載均衡

  • Redis單機狀態伺服器

  • MinIO檔案伺服器

3)部署成功後,叢集工程自動啟動,管理者即可存取工程

參考文檔:部署新專案

3後續操作

1)容器化部署時,會自動部署工程節點和叢集組件

工程會自動接入外接資料庫,因此無需配置外接資料庫

工程會自動接入負載均衡+狀態伺服器+檔案伺服器,因此無需開啟配置叢集

2)建議參考文檔提高產品安全性:產品安全加固指導手冊

3)建議參考文檔提高維運穩定性:維運監視指導手冊

4)建議為叢集配置維運平台工具:維運平台

叢集方案二:手動部署標準抽取叢集


操作步驟
說明
1準備伺服器環境

準備工程節點+負載均衡+狀態伺服器+檔案伺服器+配置庫部署環境

推薦環境:工程部署推薦環境

支援環境:非容器化叢集工程部署支援環境及配置

2部署外接資料庫

部署資料庫,作為工程的外接資料庫備用,推薦部署MySQL5資料庫

使用者只需要部署並啟動該資料庫。

支援的資料庫類型請參考:配置外接資料庫

3部署負載均衡

部署負載均衡,推薦Nginx部署方案

只需要安裝Nginx,無需啟動,無需修改nginx.conf配置檔案

參考文檔:Linux 系統安裝配置 Nginx

4部署狀態伺服器

部署狀態伺服器,推薦部署Redis單機

請確定Redis單機啟動

  • Redis單機:通用、部署簡單,無法高可用

  • Redis叢集:高可用,至少3台,建議準備6台伺服器

  • Redis哨兵:較好的高可用性,不能實現水平擴展,不支援高併發

5部署檔案伺服器

部署檔案伺服器,優先推薦SFTP

推薦級別:SFTP≈MinIO>NFS>FTP≈HDFS

  • SFTP:通用簡單,安全性優於FTP;效能、穩定性不夠好

  • FTP:通用簡單;安全性、穩定性、效能不夠好,非必要不建議使用

  • HDFS:穩定性比較好;部署麻煩,需安裝插件

  • 共享外部目錄(NAS):類SFTP;需自行部署NAS用戶端和服務端,無法高可用,需安裝插件

  • MinIO:類S3,穩定性比較好; 需自行部署MinIO,單機無法高可用,需安裝插件

  • S3:雲儲存,高可用方案,只支援部分S3,備份還原類場景可能存在卡頓

6部署工程節點

部署一個工程節點

部署方法請參考單機部署的「部署包部署」或「獨立部署」

7配置開啟叢集

1)準備操作:

配置Linux系統參數防止當機

配置Redis日誌方便日後排查

建立spider.cluster.properties檔案配置節點資訊

2)單節點叢集配置:

為該配置外接資料庫:配置外接資料庫

將主節點與狀態伺服器+檔案伺服器相連結

設定快取模式和通訊協定

啟動叢集,重啟工程

3)多節點叢集配置:

部署其他工程節點

將第一個節點的webroot工程檔案copy到其他工程節點

修改spider.cluster.properties檔案配置節點資訊

啟動其他工程節點

詳情請參見:Linux系統手動配置標準抽取叢集

8配置負載均衡

1)參考文檔修改nginx.conf檔案:Linux系統安裝配置Nginx

2)重啟Nginx組件。

9後續操作

1)參考文檔提高產品安全性:產品安全加固指導手冊

2)參考文檔提高維運穩定性:維運監視指導手冊

3)建議為叢集配置維運平台工具:維運平台

叢集方案三:手動部署高可用抽取叢集


操作步驟
說明
1準備伺服器環境

準備工程節點+負載均衡+狀態伺服器+檔案伺服器+配置庫部署環境

推薦環境:工程部署推薦環境

支援環境:非容器化叢集工程部署支援環境及配置

2部署外接資料庫

部署資料庫,作為工程的外接資料庫備用,優先推薦高可用主備模式資料庫

支援的資料庫類型請參考:配置外接資料庫

3部署負載均衡

部署負載均衡,推薦Keepalived+Nginx

詳情請參見:Keepalived+Nginx部署方案

4部署狀態伺服器

部署狀態伺服器,推薦使用Redis叢集

  • Redis單機:通用、部署簡單,無法高可用

  • Redis叢集:高可用,至少3台,建議準備6台伺服器

  • Redis哨兵:較好的高可用性,不能實現水平擴展,不支援高併發

5部署檔案伺服器

部署檔案伺服器,優先推薦NAS

  • SFTP:通用簡單,安全性優於FTP;效能、穩定性不夠好

  • FTP:通用簡單;安全性、穩定性、效能不夠好,非必要不建議使用

  • HDFS:穩定性比較好;部署麻煩,需安裝插件

  • 共享外部目錄(NAS):類SFTP;需自行部署NAS用戶端和服務端,無法高可用,需安裝插件

  • MinIO:類S3,穩定性比較好; 需自行部署MinIO,單機無法高可用,需安裝插件

  • S3:雲儲存,高可用方案,只支援部分S3,備份還原類場景可能存在卡頓

6部署工程節點

部署一個工程節點

部署方法請參考單機部署的「部署包部署」或「獨立部署」

部署後先不啟動這些工程節點

7配置開啟叢集

1)準備操作:

配置Linux系統參數防止當機

配置Redis日誌方便日後排查

建立spider.cluster.properties檔案配置節點資訊

2)單節點叢集配置:

為該配置外接資料庫:配置外接資料庫

將主節點與狀態伺服器+檔案伺服器相連結

設定快取模式和通訊協定

啟動叢集,重啟工程

3)多節點叢集配置:

部署其他工程節點

將第一個節點的webroot工程檔案copy到其他工程節點

修改spider.cluster.properties檔案配置節點資訊

啟動其他工程節點

詳情請參見:Linux系統手動配置高可用抽取叢集

8配置負載均衡

1)參考文檔修改nginx.conf檔案:Linux系統安裝配置Nginx

2)重啟Nginx組件。

9後續操作1)參考文檔提高產品安全性:產品安全加固指導手冊

2)參考文檔提高維運穩定性:維運監視指導手冊

3)建議為叢集配置維運平台工具:維運平台

叢集方案四:手動部署標準直連叢集


操作步驟
說明
1準備伺服器環境

準備工程節點+負載均衡+狀態伺服器+檔案伺服器+配置庫部署環境

推薦環境:工程部署推薦環境

支援環境:非容器化叢集工程部署支援環境及配置

2部署外接資料庫

部署資料庫,作為工程的外接資料庫備用,推薦部署MySQL5資料庫

使用者只需要部署並啟動該資料庫。

支援的資料庫類型請參考:配置外接資料庫

3部署負載均衡

部署負載均衡,推薦Nginx部署方案

只需要安裝Nginx,無需啟動,無需修改nginx.conf配置檔案

參考文檔:Linux 系統安裝配置 Nginx

4部署狀態伺服器

部署狀態伺服器,推薦部署Redis單機

請確定Redis單機啟動

  • Redis單機:通用、部署簡單,無法高可用

  • Redis叢集:高可用,至少3台,建議準備6台伺服器

  • Redis哨兵:較好的高可用性,不能實現水平擴展,不支援高併發

5部署檔案伺服器

部署檔案伺服器,優先推薦SFTP

推薦級別:SFTP≈MinIO>NFS>FTP≈HDFS

  • SFTP:通用簡單,安全性優於FTP;效能、穩定性不夠好

  • FTP:通用簡單;安全性、穩定性、效能不夠好,非必要不建議使用

  • HDFS:穩定性比較好;部署麻煩,需安裝插件

  • 共享外部目錄(NAS):類SFTP;需自行部署NAS用戶端和服務端,無法高可用,需安裝插件

  • MinIO:類S3,穩定性比較好; 需自行部署MinIO,單機無法高可用,需安裝插件

  • S3:雲儲存,高可用方案,只支援部分S3,備份還原類場景可能存在卡頓

6部署工程節點

部署一個工程節點

部署方法請參考單機部署的「部署包部署」或「獨立部署」

7配置開啟叢集

1)單節點叢集配置:

為該配置外接資料庫:配置外接資料庫

將主節點與狀態伺服器+檔案伺服器相連結

設定快取模式和通訊協定

啟動叢集,重啟工程

2)多節點叢集配置:

部署其他工程節點

將第一個節點的webroot工程檔案copy到其他工程節點

啟動其他工程節點

詳情請參見:Linux系統手動配置標準直連叢集

8配置負載均衡

1)參考文檔修改nginx.conf檔案:Linux系統安裝配置Nginx

2)重啟Nginx組件。

9後續操作

1)參考文檔提高產品安全性:產品安全加固指導手冊

2)參考文檔提高維運穩定性:維運監視指導手冊

3)建議為叢集配置維運平台工具:維運平台

其他部署方式擴展閱讀

常見問題

非常抱歉你在使用時出現問題。你可以在第一時間透過「技術支援」或「社群問答」進行求助,詳情請參見:聯絡我們

你也可先參考相關文檔進行問題定位和解決。以下是使用者是在部署tomcat伺服器時出現的常見問題,建議先參考文檔進行問題定位和解決。

推薦文檔問題描述
Tomcat部署相關問題Tomcat 問題匯總
Linux和Windows系統對比分析簡單介紹 Linux 和 Windows 系統的對比分析,使用者可根據實際情況選擇部署時的系統
Linux防火牆使用及配置

Windows伺服器設定出入站規則

開放防火牆埠
Linux檔案權限配置Linux 檔案權限配置
JAVA環境變數配置介紹因 JAVA 環境變數配置有問題導致的一些報錯及解決方案


附件列表


主题: 部署整合
已经是第一篇
已经是最后一篇
  • 有帮助
  • 没帮助
  • 只是浏览
  • 圖片不清晰
  • 用語看不懂
  • 功能說明看不懂
  • 操作說明太簡單
  • 內容有錯誤
中文(繁體)

滑鼠選中內容,快速回饋問題

滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。

不再提示

10s後關閉

獲取幫助
線上支援
獲取專業技術支援,快速幫助您解決問題
工作日9:00-12:00,13:30-17:30在线
頁面反饋
針對當前網頁的建議、問題反饋
售前咨詢
業務咨詢
電話:0933-790886或 0989-092892
郵箱:taiwan@fanruan.com
頁面反饋
*問題分類
不能為空
問題描述
0/1000
不能為空

反馈已提交

网络繁忙