概述
本文將介紹單機和叢集工程部署的基本流程,方便大家直覺感受部署具體包含哪些操作。
本文面向正式工程,因此提供了配置外接資料庫、安全加固等後續操作。此類後續操作均為正式工程的建議操作,不強制要求。
本文僅介紹Linux系統&Tomcat中間軟體下的部署方案,其他不贅述。
注:推薦使用者使用Linux系統伺服器部署正式工程,原因請參見:Linux和Windows對比分析
第一步:確定部署工程節點數
帆軟應用支援單機和叢集部署,叢集則為多個工程節點。
一個伺服器只能部署叢集的一個工程節點,因此需要幾個工程節點就要準備幾個伺服器。
本文以三種場景進行配置推薦。若您的FineBI工程涉及多個場景,選擇其中的最高配置作為推薦配置即可。
使用者需要先參考 直連資料和抽取資料的差別 判斷自己使用的是「實時資料」還是「抽取資料」。
請按照工程預計併發數,確定部署單機還是叢集,確定部署多少個工程節點。
使用者維度說明:
使用者類型 | 說明 |
---|---|
日活使用者數 | 一日之內,FineBI工程登入的使用者數 |
線上使用者數 | 同一時刻,FineBI工程上登入了的使用者數 |
併發使用者數 | 同一時刻,在FineBI工程上做操作的使用者數 即多少使用者同時對伺服器傳送請求,即伺服器同時處理多少使用者傳送來的請求 |
lic註冊時的併發限制 | 根據 IP 地址而非使用者數量進行統計,伺服器從請求中獲取 IP 地址,作為一個併發值 Lic 的該參數和下文使用者數無聯動 |
直連資料
場景說明:只使用直連資料,不使用抽取資料
叢集節點間、節點與其他組件間帶寬 1000Mb/s。
根據工程的併發及資料源 DB 的計算能力,落在多個配置區間時選較高的配置。
編輯併發對應快取不命中。
併發使用者數/秒的上限對應快取命中,下限對應快取不命中。
日活使用者數 | 線上使用者數 每小時 | 併發使用者數 每秒 | 編輯 併發數 | 資料源計算能力 每秒處理的計算數 | 推薦配置 | 最低配置 |
---|---|---|---|---|---|---|
500 | <100 | <20 | <20 | <10 | 單機,節點滿足: CPU:8 核 16 執行緒 2.5GHZ JVM 記憶體:16GB 物理記憶體:24G | 單機,節點滿足: CPU:4 核 8 執行緒 2.5GHZ JVM 記憶體:8GB 物理記憶體:12G |
2K | 100~1K | 40~90 | 10~40 | 10~20 | 2節點叢集,每個節點滿足: CPU:16 核 32 執行緒 2.5GHZ JVM 記憶體:16GB 物理記憶體:32G | 單機,節點滿足: CPU:16 核 32 執行緒 2.5GHZ JVM 記憶體:16GB 物理記憶體:24G |
3K | 600~1.5K | 60~130 | 30~60 | ≥30 | 3節點叢集,每個節點滿足: CPU:16 核 32 執行緒 2.5GHZ JVM 記憶體:16GB 物理記憶體:24G | 2節點叢集,每個節點滿足: CPU:16 核 32 執行緒 2.5GHZ JVM 記憶體:24GB 物理記憶體:48G |
4K | 600~2K | 60~170 | 60~80 | ≥30 | 4節點叢集,每個節點滿足: CPU:16 核 32 執行緒 2.5GHZ JVM 記憶體:16GB 物理記憶體:24G | 3節點叢集,每個節點滿足: CPU:16 核 32 執行緒 2.5GHZ JVM 記憶體:24GB 物理記憶體:48G |
抽取資料:高日活自助分析
場景說明:日活使用者較高的FineBI工程,使用者自助分析資料(對應 FineBI 查詢不命中快取)。
節點數概要估算併發:線上使用者數 Y = 300 * (節點數 X-1) + 400 。
磁碟吞吐率和帶寬要求大於 100MB/s(普通本地硬碟 HDD 效能),推薦 SSD固態硬碟。
JVM 記憶體≠整機記憶體,推薦 JVM 記憶體佔整機記憶體的 2/3 ~ 3/4 。
線上使用者數 每小時 | 併發使用者數 每秒 | 編輯 併發數 | 表數量/表大小 | 推薦配置 | 最低配置 |
---|---|---|---|---|---|
<100 | <20 | <20 | <100張/<1T | 單機,節點滿足: CPU:8 核 16 執行緒 2.5GHZ JVM 記憶體:16GB 物理記憶體:32G | 單機,節點滿足: CPU:8 核 16 執行緒 2.5GHZ JVM 記憶體:16GB 物理記憶體:32G |
300~1K | 20~70 | 10~40 | <100張/<1T | 2節點叢集,每個節點滿足: CPU:8 核 16 執行緒 2.5GHZ JVM 記憶體:16GB 物理記憶體:32G | 單機,節點滿足: CPU:16 核 32 執行緒 2.5GHZ JVM 記憶體:32GB 物理記憶體:64G |
600~2K | 40~120 | 30~60 | >2k張/>1T | 2節點叢集,每個節點滿足: CPU:16 核 32 執行緒 2.5GHZ JVM 記憶體:32GB 物理記憶體:64G | 2節點叢集,每個節點滿足: CPU:16 核 32 執行緒 2.5GHZ JVM 記憶體:24GB 物理記憶體:48G |
900~3K | 50~160 | 50~80 | >4k張/>2T | 3節點叢集,每個節點滿足: CPU:16 核 32 執行緒 2.5GHZ JVM 記憶體:32GB 物理記憶體:64G | 2節點叢集,每個節點滿足: CPU:16 核 32 執行緒 2.5GHZ JVM 記憶體:24GB 物理記憶體:48G |
1.2K~3.5K | 60~190 | 70~100 | >5k張/>3T | 4節點叢集,每個節點滿足: CPU:16 核 32 執行緒 2.5GHZ JVM 記憶體:32GB 物理記憶體:64G | 3節點叢集,每個節點滿足: CPU:16 核 32 執行緒 2.5GHZ JVM 記憶體:32GB 物理記憶體:64G |
1.5K~4K | 80~220 | 80~200 | >5k張/>3T | 5節點叢集,每個節點滿足: CPU:16 核 32 執行緒 2.5GHZ JVM 記憶體:32GB 物理記憶體:64G | 4節點叢集,每個節點滿足: CPU:16 核 32 執行緒 2.5GHZ JVM 記憶體:32GB 物理記憶體:64 |
抽取資料:併發查看儀表板
場景:對應使用者併發查看報表等場景。即通常5-10分鐘內累計存取使用者數Y(對應FineBI查詢快取全命中,即多個相同計算請求,引擎可以直接命中傳回結果)。
節點數概要估算併發:5分鐘併發使用者數 Y = 380*節點數X
每秒請求使用者數達到160時,對負載均衡伺服器的下載速度要求較高,需要達到100MB/s。
JVM 記憶體≠整機記憶體,推薦 JVM 記憶體佔整機記憶體的 2/3 ~ 3/4 。
使用者數 每5分鐘 | 使用者數 每秒 | 推薦配置 | 最低配置 |
---|---|---|---|
~400 | 40 | 2節點叢集,每個節點滿足: CPU:8 核 16 執行緒 2.5GHZ JVM 記憶體:16GB 物理記憶體:32G | 單機,節點滿足: CPU:16 核 32 執行緒 2.5GHZ JVM 記憶體:32GB 物理記憶體:64G |
400~800 | 80 | 2節點叢集,每個節點滿足: CPU:16 核 32 執行緒 2.5GHZ JVM 記憶體:32GB 物理記憶體:64G | 2節點叢集,每個節點滿足: CPU:16 核 32 執行緒 2.5GHZ JVM 記憶體:24GB 物理記憶體:48G |
800~1.1K | 110 | 3節點叢集,每個節點滿足: CPU:16 核 32 執行緒 2.5GHZ JVM 記憶體:32GB 物理記憶體:64G | 3節點叢集,每個節點滿足: CPU:16 核 32 執行緒 2.5GHZ JVM 記憶體:24GB 物理記憶體:48G |
1.1K~1.6K | 160 | 4節點叢集,每個節點滿足: CPU:16 核 32 執行緒 2.5GHZ JVM 記憶體:32GB 物理記憶體:64G | 3節點叢集,每個節點滿足: CPU:16 核 32 執行緒 2.5GHZ JVM 記憶體:32GB 物理記憶體:64G |
1.6K~2K | 190 | 5節點叢集,每個節點滿足: CPU:16 核 32 執行緒 2.5GHZ JVM 記憶體:32GB 物理記憶體:64G | 4節點叢集,每個節點滿足: CPU:16 核 32 執行緒 2.5GHZ JVM 記憶體:32GB |
第二步:選擇工程部署方式
請根據各種部署方式的優缺點,選擇適合自己的部署方式。
單機部署提供三種部署方式:容器化部署、部署包部署、獨立部署
叢集部署提供四種部署方式:容器化部署標準抽取叢集、手動部署標準抽取叢集、手動部署高可用抽取叢集、手動部署標準直連叢集
工程類型 | 部署方式 | 說明 | |
---|---|---|---|
單機 | 容器化部署 | ★★★★★ 優點: 部署成本低:一鍵部署,自帶JDK、Tomcat、FineBI工程和外接資料庫 啟動成本低:部署成功後預設新增好啟動參數,無需手動配置 異常影響小:工程環境容器化,每個工程的環境相互隔離,出現異常時影響範圍小 維運成本低:維運平台自動接入工程,對工程進行自動監視預警,維運成本低 | |
部署包部署 | 優點: 部署成本低:一鍵部署,自帶JDK、Tomcat、FineBI工程 限制項: 只支援Tomcat部署,只支援x86和arm架構 部署完需要手動配置參數,以保證系統穩定運作 無法即時對系統運作情況進行監視警報 | ||
獨立部署 | 優點: 不限制中間軟體,不限制伺服器架構 限制項: 需提前部署準備JDK環境和Tomcat中間軟體 需提前準備好FineBI工程包 部署完需要手動配置參數,以保證系統穩定運作 無法即時對系統運作情況進行監視警報 | ||
叢集 | 標準抽取叢集 | 容器化部署 | ★★★★★ 優點: 部署成本低:一鍵部署抽取叢集,包括FineBI工程節點+負載均衡+狀態伺服器+檔案伺服器+外接資料庫 啟動成本低:部署成功後預設新增好啟動參數,無需手動配置 異常影響小:工程環境容器化,每個工程的環境相互隔離,出現異常時影響範圍小 維運成本低:維運平台自動接入工程,支援對伺服器、FineBI應用、組件服務等進行監視警報 業務高可用:提供更新任務異常恢復機制,節點同步,保證資料查詢高可用 查詢高併發:多節點同時提供查詢服務,實現負載均衡,併發效能隨節點線型增加 更新效能高:透過節點數增加,可提高更新效能 |
手動部署 | 優點: 相比於直連叢集: 業務高可用:提供更新任務異常恢復機制,節點同步,保證資料查詢高可用 查詢高併發:多節點同時提供查詢服務,實現負載均衡,併發效能隨節點線型增加 更新效能高:透過節點數增加,可提高更新效能 限制項: 工程節點+負載均衡+狀態伺服器+檔案伺服器+配置庫都需手動部署、修改配置和串並起來 部署完需要手動配置參數,以保證系統穩定運作 無法即時對系統運作情況、伺服器、組件伺服器進行監視警報 | ||
高可用抽取叢集 | 手動部署 | 優點: 相比於標準抽取叢集:叢集更加高可用,確定工程維運穩定 限制項: 需要進行復雜的配置,需要一定的技術水平和經驗,需要更多的硬體或虛擬資源 工程節點+負載均衡+狀態伺服器+檔案伺服器+配置庫都需手動部署、修改配置和串並起來 部署完需要手動配置參數,以保證系統穩定運作 無法即時對系統運作情況、伺服器、組件伺服器進行監視警報 | |
標準直連叢集 | 手動部署 | 優點: 相比於單機工程,叢集中多個工程相互通訊共享資料和任務,可以提供更好的可延伸性和更高的效能,可以提高系統的負載能力和可用性,並確定系統的穩定性和一致 限制項: 此種部署方式,主要面向只有直連資料的工程,如有抽取資料,推薦部署抽取叢集 工程節點+負載均衡+狀態伺服器+檔案伺服器+配置庫都需手動部署、修改配置和串並起來 部署完需要手動配置參數,以保證系統穩定運作 無法即時對系統運作情況、伺服器、組件伺服器進行監視警報 |
第三步:查看具體部署方案
單機方案一:容器化部署
操作步驟 | 說明 | |
---|---|---|
1 | 準備伺服器環境 | 準備FineBI工程、外接資料庫的伺服器環境 推薦環境:工程部署推薦環境 支援環境:單機工程部署支援環境 |
2 | 容器化部署 | 1)安裝維運平台 2)使用維運平台介面化部署FineBI工程 3)部署成功後工程自動啟動,管理者即可存取工程 參考文檔:部署新專案 |
3 | 後續操作 | 1)容器化部署時,會自動安裝FineBI工程和外接資料庫,工程會自動接入外接資料庫,因此無需配置外接資料庫 2)建議參考文檔提高產品安全性:產品安全加固指導手冊 3)建議參考文檔提高維運穩定性:維運監視指導手冊 |
單機方案二:部署包部署
操作步驟 | 說明 | |
---|---|---|
1 | 準備伺服器環境 | 準備FineBI工程的伺服器環境 準備並部署好外接資料庫 推薦環境:工程部署推薦環境 支援環境:單機工程部署支援環境 |
2 | 部署包部署 | 1)下載、上傳、解壓伺服器部署包 2)語句啟動FineBI工程 3)啟動成功後,管理者即可存取工程 參考文檔:Linux下Tomcat伺服器部署包 |
3 | 後續操作 | 1)建議為正式工程配置外接資料庫:配置外接資料庫 2)建議參考文檔提高產品安全性:產品安全加固指導手冊 3)建議參考文檔提高維運穩定性:維運監視指導手冊 |
單機方案三:獨立部署
操作步驟 | 說明 | |
---|---|---|
1 | 準備伺服器環境 | 準備FineBI工程的伺服器環境 準備並部署好Tomcat、JDK 準備並部署好外接資料庫 推薦環境:工程部署推薦環境 支援環境:單機工程部署支援環境 |
2 | 獨立部署 | 1)上傳webroot工程檔案 2)上傳tools.jar檔案 3)語句啟動FineBI工程 4)啟動成功後,管理者即可存取工程 |
3 | 後續操作 | 1)建議為正式工程配置外接資料庫:配置外接資料庫 2)建議參考文檔提高產品安全性:產品安全加固指導手冊 3)建議參考文檔提高維運穩定性:維運監視指導手冊 |
叢集方案一:容器化部署標準抽取叢集
操作步驟 | 說明 | |
---|---|---|
1 | 準備伺服器環境 | 準備工程節點+負載均衡+狀態伺服器+檔案伺服器+配置庫部署環境 推薦環境:工程部署推薦環境 支援環境:非容器化叢集工程部署支援環境及配置 |
2 | 容器化部署 | 1)安裝維運平台 2)使用維運平台介面化部署FineBI工程,會自動部署:
3)部署成功後,叢集工程自動啟動,管理者即可存取工程 參考文檔:部署新專案 |
3 | 後續操作 | 1)容器化部署時,會自動部署工程節點和叢集組件 工程會自動接入外接資料庫,因此無需配置外接資料庫 工程會自動接入負載均衡+狀態伺服器+檔案伺服器,因此無需開啟配置叢集 2)建議參考文檔提高產品安全性:產品安全加固指導手冊 3)建議參考文檔提高維運穩定性:維運監視指導手冊 4)建議為叢集配置維運平台工具:維運平台 |
叢集方案二:手動部署標準抽取叢集
操作步驟 | 說明 | |
---|---|---|
1 | 準備伺服器環境 | 準備工程節點+負載均衡+狀態伺服器+檔案伺服器+配置庫部署環境 推薦環境:工程部署推薦環境 支援環境:非容器化叢集工程部署支援環境及配置 |
2 | 部署外接資料庫 | 部署資料庫,作為工程的外接資料庫備用,推薦部署MySQL5資料庫 使用者只需要部署並啟動該資料庫。 支援的資料庫類型請參考:配置外接資料庫 |
3 | 部署負載均衡 | 部署負載均衡,推薦Nginx部署方案 只需要安裝Nginx,無需啟動,無需修改nginx.conf配置檔案 參考文檔:Linux 系統安裝配置 Nginx |
4 | 部署狀態伺服器 | 部署狀態伺服器,推薦部署Redis單機 請確定Redis單機啟動 |
5 | 部署檔案伺服器 | 部署檔案伺服器,優先推薦SFTP 推薦級別:SFTP≈MinIO>NFS>FTP≈HDFS |
6 | 部署工程節點 | 部署一個工程節點 部署方法請參考單機部署的「部署包部署」或「獨立部署」 |
7 | 配置開啟叢集 | 1)準備操作: 配置Linux系統參數防止當機 配置Redis日誌方便日後排查 建立spider.cluster.properties檔案配置節點資訊 2)單節點叢集配置: 為該配置外接資料庫:配置外接資料庫 將主節點與狀態伺服器+檔案伺服器相連結 設定快取模式和通訊協定 啟動叢集,重啟工程 3)多節點叢集配置: 部署其他工程節點 將第一個節點的webroot工程檔案copy到其他工程節點 修改spider.cluster.properties檔案配置節點資訊 啟動其他工程節點 詳情請參見:Linux系統手動配置標準抽取叢集 |
8 | 配置負載均衡 | 1)參考文檔修改nginx.conf檔案:Linux系統安裝配置Nginx 2)重啟Nginx組件。 |
9 | 後續操作 | 1)參考文檔提高產品安全性:產品安全加固指導手冊 2)參考文檔提高維運穩定性:維運監視指導手冊 3)建議為叢集配置維運平台工具:維運平台 |
叢集方案三:手動部署高可用抽取叢集
操作步驟 | 說明 | |
---|---|---|
1 | 準備伺服器環境 | 準備工程節點+負載均衡+狀態伺服器+檔案伺服器+配置庫部署環境 推薦環境:工程部署推薦環境 支援環境:非容器化叢集工程部署支援環境及配置 |
2 | 部署外接資料庫 | 部署資料庫,作為工程的外接資料庫備用,優先推薦高可用主備模式資料庫 支援的資料庫類型請參考:配置外接資料庫 |
3 | 部署負載均衡 | 部署負載均衡,推薦Keepalived+Nginx 詳情請參見:Keepalived+Nginx部署方案 |
4 | 部署狀態伺服器 | 部署狀態伺服器,推薦使用Redis叢集 |
5 | 部署檔案伺服器 | 部署檔案伺服器,優先推薦NAS |
6 | 部署工程節點 | 部署一個工程節點 部署方法請參考單機部署的「部署包部署」或「獨立部署」 部署後先不啟動這些工程節點 |
7 | 配置開啟叢集 | 1)準備操作: 配置Linux系統參數防止當機 配置Redis日誌方便日後排查 建立spider.cluster.properties檔案配置節點資訊 2)單節點叢集配置: 為該配置外接資料庫:配置外接資料庫 將主節點與狀態伺服器+檔案伺服器相連結 設定快取模式和通訊協定 啟動叢集,重啟工程 3)多節點叢集配置: 部署其他工程節點 將第一個節點的webroot工程檔案copy到其他工程節點 修改spider.cluster.properties檔案配置節點資訊 啟動其他工程節點 詳情請參見:Linux系統手動配置高可用抽取叢集 |
8 | 配置負載均衡 | 1)參考文檔修改nginx.conf檔案:Linux系統安裝配置Nginx 2)重啟Nginx組件。 |
9 | 後續操作 | 1)參考文檔提高產品安全性:產品安全加固指導手冊 2)參考文檔提高維運穩定性:維運監視指導手冊 3)建議為叢集配置維運平台工具:維運平台 |
叢集方案四:手動部署標準直連叢集
操作步驟 | 說明 | |
---|---|---|
1 | 準備伺服器環境 | 準備工程節點+負載均衡+狀態伺服器+檔案伺服器+配置庫部署環境 推薦環境:工程部署推薦環境 支援環境:非容器化叢集工程部署支援環境及配置 |
2 | 部署外接資料庫 | 部署資料庫,作為工程的外接資料庫備用,推薦部署MySQL5資料庫 使用者只需要部署並啟動該資料庫。 支援的資料庫類型請參考:配置外接資料庫 |
3 | 部署負載均衡 | 部署負載均衡,推薦Nginx部署方案 只需要安裝Nginx,無需啟動,無需修改nginx.conf配置檔案 參考文檔:Linux 系統安裝配置 Nginx |
4 | 部署狀態伺服器 | 部署狀態伺服器,推薦部署Redis單機 請確定Redis單機啟動 |
5 | 部署檔案伺服器 | 部署檔案伺服器,優先推薦SFTP 推薦級別:SFTP≈MinIO>NFS>FTP≈HDFS |
6 | 部署工程節點 | 部署一個工程節點 部署方法請參考單機部署的「部署包部署」或「獨立部署」 |
7 | 配置開啟叢集 | 1)單節點叢集配置: 為該配置外接資料庫:配置外接資料庫 將主節點與狀態伺服器+檔案伺服器相連結 設定快取模式和通訊協定 啟動叢集,重啟工程 2)多節點叢集配置: 部署其他工程節點 將第一個節點的webroot工程檔案copy到其他工程節點 啟動其他工程節點 詳情請參見:Linux系統手動配置標準直連叢集 |
8 | 配置負載均衡 | 1)參考文檔修改nginx.conf檔案:Linux系統安裝配置Nginx 2)重啟Nginx組件。 |
9 | 後續操作 | 1)參考文檔提高產品安全性:產品安全加固指導手冊 2)參考文檔提高維運穩定性:維運監視指導手冊 3)建議為叢集配置維運平台工具:維運平台 |
其他部署方式擴展閱讀
中間軟體類型 | 部署參考文檔 |
---|---|
Windows下Tomcat | Windows下Tomcat伺服器部署包 |
Windows下Tomcat獨立部署 | |
WebLogic | Weblogic伺服器部署 |
WebSphere | Linux系統Websphere伺服器部署 |
JBoss | Wildfly(JBoss)9~18伺服器部署 |
Wildfly(JBoss)8伺服器部署 | |
Resin | Resin伺服器部署 |
常見問題
非常抱歉你在使用時出現問題。你可以在第一時間透過「技術支援」或「社群問答」進行求助,詳情請參見:聯絡我們。
你也可先參考相關文檔進行問題定位和解決。以下是使用者是在部署tomcat伺服器時出現的常見問題,建議先參考文檔進行問題定位和解決。
推薦文檔 | 問題描述 |
---|---|
Tomcat部署相關問題 | Tomcat 問題匯總 |
Linux和Windows系統對比分析 | 簡單介紹 Linux 和 Windows 系統的對比分析,使用者可根據實際情況選擇部署時的系統 |
Linux防火牆使用及配置 | 開放防火牆埠 |
Linux檔案權限配置 | Linux 檔案權限配置 |
JAVA環境變數配置 | 介紹因 JAVA 環境變數配置有問題導致的一些報錯及解決方案 |