本文介紹如何在 Linux 系統中手動配置標準抽取叢集。
如您計劃部署FineBI6.0抽取叢集,請先聯絡帆軟技術支援或帆軟銷售代表,進行初步評估、以及環境資訊等的確認。
技術支援聯絡方式:帆軟官方服務渠道使用説明 。
如您未聯絡過帆軟,自行進行抽取叢集的部署,無法保證遇到未知風險後能夠即時處理。
手動配置標準叢集之前,請先提前準備好以下內容。
準備工程節點+負載均衡+狀態伺服器+檔案伺服器+配置庫部署環境
請確定各工程節點和組件所在伺服器間內網互通
請確定各工程節點和組件所在伺服器系統時間一致
推薦環境:工程部署推薦環境及配置
支援環境:叢集工程部署支援環境及配置
部署資料庫,作為工程的外接資料庫備用,推薦部署MySQL5資料庫
使用者只需要部署並啟動該資料庫。
支援的資料庫類型請參考:配置外接資料庫
部署負載均衡,推薦Nginx部署方案
只需要安裝Nginx,無需啟動,無需修改nginx.conf配置檔案
參考文檔:Linux系統安裝配置Nginx
部署狀態伺服器,推薦部署Redis單機
請確定Redis單機啟動
參考文檔:Linux系統安裝配置單機Redis
部署檔案伺服器,推薦部署SFTP
請確定SFTP啟動
參考文檔:Linux系統配置使用SFTP
部署方法請參考單機部署的「部署包部署」或「獨立部署」
Linux下Tomcat伺服器部署包
Linux下Tomcat獨立部署FineBI工程
需要為Linux修改三個系統參數,以確定後續抽取叢集正常運作。
vm.max_map_count是一個Linux系統核心參數,用於控制在一個進程中允許mmap映射記憶體區域的最大數量。
如果該參數的值太小,那麼在使用一些應用程式時,可能會出現記憶體映射錯誤。
建議配置 vm.max_map_count 參數為 262144
在/etc/sysctl.conf檔案中新增/修改參數值
vm.max_map_count=262144
運作以下命令使更改生效
sysctl -p
open_files是指一個進程可以同時開啟的檔案描述符的最大數量。
檔案描述符是Unix系統中用於存取檔案(包括管道、套接字和其他檔案操作)的唯一識別符號。
建議FineBI工程的open_files參數配置不低於131070
修改參數配置
開啟Linux的軟硬體限制檔案/etc/security/limits.conf,在檔案尾部新增如下程式碼:
* soft nofile 131070
* hard nofile 131070
上述命令中,hard表示系統的硬限制,soft表示使用者的軟限制。
重啟工程並重新登入
配置完成後,終端使用者重新登入,並重啟Tomcat工程,配置方可生效。
可使用ulimit -n命令,根據回傳值確認是否修改成功。
1)判斷glibc版本
運作命令 ldd --version
2)若glibc版本不是2.12
在 startup.sh 檔案第一行增加一行內容:
export MALLOC_ARENA_MAX=1
3)重啟tomcat
對於FineBI6.0抽取叢集,狀態伺服器Redis是比較關鍵的組件,需要配置下日誌,便於日後排查問題。
在redis.conf檔案中,日誌預設配置為:logfile ""
新增/修改為:logfile "redis.log"
配置後日志會自動生成在src目錄下。
如需調整埠等配置,可執行本節操作。如無需調整,可跨越。
在%BI_HOME%\webapps\webroot\WEB-INF\config目錄下,建立spider.cluster.properties檔案。
檔案中包含三行內容:
設定spider引擎rpc埠,如不配置,預設埠為50051
確定配置一個閒置可用的埠即可
設定新配置框架的rmi,如不配置,預設埠為50200
設定工程節點屬性,如不配置,預設為同步節點
false:非同步節點
true:同步節點
啟動該FineBI工程節點。
1)確定配置外接資料庫
管理者登入FineBI系統,點選「管理系統>系統管理>標準>外接資料庫」,確定系統已配置外接資料庫。
2)進入叢集配置介面
管理者登入FineBI系統,點選「管理系統>智慧維運>叢集配置」。
下文所有配置操作均在本頁面完成。
準備內容:
標準叢集的狀態伺服器建議使用Redis單機作為狀態伺服器。
請先確定Redis單機已啟動,否則工程無法成功連結它。
請準備好Redis單機的密碼(如果沒有密碼可不準備)
請準備好Redis單機節點的主機IP和埠號(不建議使用域名,請準備內網IP)
配置步驟:
1)開啟「狀態伺服器」按鈕。
2)選擇快取系統為「Redis單機」。
3)輸入Redis單機節點的主機IP和埠。
4)如有密碼,輸入密碼;如無密碼,忽略該步驟。
5)配置完畢後,點選「測試連結並儲存」,若無異常則可儲存成功。
效果預覽:
成功開啟的狀態伺服器如下圖所示:
MQ內建功能專為「容器化部署」的叢集準備,非容器化手動部署叢集無需關注該步驟,直接跨越。
容器化部署 安裝的工程,一般預設配置了 rocketmq 組件,rocketmq可更換 Redis 訊息佇列一部分功能。
若未配置rocketmq,預設使用redis。
若配置了rocketmq,rocketmq和redis同時生效,負責不同功能。
配置前提:
標準叢集的檔案一致設定建議選擇「檔案伺服器共享>SFTP」。
請先確定第四章狀態伺服器配置成功,否則無法配置檔案伺服器。
請先確定SFTP服務已啟動,否則工程無法成功連結該檔案伺服器。
準備步驟:
1)將該工程節點的%FR_HOME%\webapps\webroot\WEB-INF資料夾copy到檔案伺服器中。
2)為檔案伺服器中的 WEB-INF 資料夾賦予權限,Linux 系統中為 777 權限。
3)SFTP 所在檔案伺服器防火牆需開放 22 埠。
4)請準備好該檔案伺服器中該WEB-INF資料夾的路徑地址,形如/home/ftpuser/WEB-INF
5)請準備好該檔案伺服器的編碼格式、主機IP、埠號、帳號、密碼/金鑰檔案(主機IP請準備內網IP)
1)檔案一致設定選擇「檔案伺服器共享」
2)在彈出框中協定選擇「SFTP」
3)輸入上文準備的檔案伺服器資訊
4)配置完畢後,點選「測試連結並儲存」,若無異常則可儲存成功。
成功開啟的檔案伺服器如下圖所示:
標準直連叢集的快取模式建議選擇「關閉快取」。
標準叢集的叢集通訊協定建議選擇「TCP」。
1)開啟「開啟叢集」按鈕。
2)重啟該節點工程。
3)再次查看「管理系統>智慧維運>叢集配置」,在節點管理處出現本工程節點。
至此,該工程節點與外接資料庫、狀態伺服器、檔案伺服器的對接完全成功,單節點叢集部署成功。
1)部署叢集的其他工程節點
部署方法請參考單機部署的「部署包部署」或「獨立部署」。
2)copy工程檔案
將上文的單機叢集節點的%BI_HOME%\webapps\webroot資料夾,分別copy改寫新部署的其他工程節點的%BI_HOME%\webapps\webroot資料夾。
3)修改spider.cluster.properties(可選)
在每個新工程節點的%BI_HOME%\webapps\webroot\WEB-INF\config目錄下,找到spider.cluster.properties檔案,修改相關配置。
四節點以下叢集,建議所有叢集節點都配置為true
五節點以上叢集,建議其中四個節點為true,其他為false
4)刪除cluster.properties
找到新工程節點的%BI_HOME%\webapps\webroot\WEB-INF\config目錄,如果存在cluster.properties檔案,刪除該檔案。
5)重啟這些新工程節點
管理者依次登入每一個工程節點,查看「管理系統>智慧維運>叢集配置」,在節點管理處出現所有工程節點資訊。
至此,所有工程節點與外接資料庫、狀態伺服器、檔案伺服器的對接完全成功,多節點叢集部署成功。
負載均衡可以透過各種算法來分配使用者請求到不同的節點上,以獲得更好的效能和負載均衡效果。
標準叢集的負載均衡建議選擇「Nginx」。
請先確定已參考文檔進行部署:Linux系統安裝配置Nginx
1)修改nginx.conf
以該檔案作為基礎:抽取叢集nginx.zip
參考文檔修改nginx.conf檔案:Linux系統安裝配置Nginx
2)重啟Nginx組件。
在瀏覽器輸入ip:負載均衡埠號/status查看健康頁面,可以看到工程各個節點的健康狀態。
至此,一個標準的多節點叢集就部署成功了。
高可用叢集生效後,抽取叢集自動生效。
管理者登入FineBI,點選「管理系統>系統管理>抽取叢集」,即可查看節點資訊。
SYNC為同步節點,ASYNC為非同步節點,具體說明請參見:抽取叢集管理介面。
使用者可以嘗試新增、更新、查詢抽取的基礎表和自助資料集,如果無異常說明已成功搭建抽取叢集。
若單機工程原本註冊了,升級為多節點叢集后,需要重新註冊
滑鼠選中內容,快速回饋問題
滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。
不再提示
10s後關閉
反馈已提交
网络繁忙