1. 概述
本文介紹如何在 Linux 系統中手動配置標準抽取叢集。
如您計劃部署FineBI6.0抽取叢集,請先聯絡帆軟技術支援或帆軟銷售代表,進行初步評估、以及環境資訊等的確認。
技術支援聯絡方式:帆軟官方服務渠道使用説明 。
如您未聯絡過帆軟,自行進行抽取叢集的部署,無法保證遇到未知風險後能夠即時處理。
2. 準備步驟
手動配置標準叢集之前,請先提前準備好以下內容。
操作步驟 | 說明 | |
---|---|---|
1 | 準備伺服器環境 | 準備工程節點+負載均衡+狀態伺服器+檔案伺服器+配置庫部署環境 請確定各工程節點和組件所在伺服器間內網互通 請確定各工程節點和組件所在伺服器系統時間一致 推薦環境:工程部署推薦環境及配置 支援環境:叢集工程部署支援環境及配置 |
2 | 部署資料庫 | 部署資料庫,作為工程的外接資料庫備用,推薦部署MySQL5資料庫 使用者只需要部署並啟動該資料庫。 支援的資料庫類型請參考:配置外接資料庫 |
3 | 部署負載均衡 | 部署負載均衡,推薦Nginx部署方案 只需要安裝Nginx,無需啟動,無需修改nginx.conf配置檔案 參考文檔:Linux系統安裝配置Nginx |
4 | 部署狀態伺服器 | 部署狀態伺服器,推薦部署Redis單機 請確定Redis單機啟動 參考文檔:Linux系統安裝配置單機Redis |
5 | 部署檔案伺服器 | 部署檔案伺服器,推薦部署SFTP 請確定SFTP啟動 參考文檔:Linux系統配置使用SFTP |
6 | 部署工程節點 | 先只部署並啟動一個工程節點 部署方法請參考單機部署的「部署包部署」或「獨立部署」 |
3. 配置並啟動工程
3.1 配置Linux系統參數
需要為Linux修改三個系統參數,以確定後續抽取叢集正常運作。
3.2 配置Redis日誌
對於FineBI6.0抽取叢集,狀態伺服器Redis是比較關鍵的組件,需要配置下日誌,便於日後排查問題。
在redis.conf檔案中,日誌預設配置為:logfile ""
新增/修改為:logfile "redis.log"
配置後日志會自動生成在src目錄下。
3.3 建立spider.cluster.properties(可選)
如需調整埠等配置,可執行本節操作。如無需調整,可跨越。
在%BI_HOME%\webapps\webroot\WEB-INF\config目錄下,建立spider.cluster.properties檔案。
檔案中包含三行內容:
設定內容 | 說明 |
---|---|
spider_grpc_port=xxx | 設定spider引擎rpc埠,如不配置,預設埠為50051 確定配置一個閒置可用的埠即可 |
bi_conf_rpc_port=xxx | 設定新配置框架的rmi,如不配置,預設埠為50200 確定配置一個閒置可用的埠即可 |
is_sync_node=true | 設定工程節點屬性,如不配置,預設為同步節點 false:非同步節點 true:同步節點 |

3.4 啟動並登入平台
啟動該FineBI工程節點。
1)確定配置外接資料庫
管理者登入FineBI系統,點選「管理系統>系統管理>標準>外接資料庫」,確定系統已配置外接資料庫。
2)進入叢集配置介面
管理者登入FineBI系統,點選「管理系統>智慧維運>叢集配置」。
下文所有配置操作均在本頁面完成。
4. 配置狀態伺服器
準備內容:
標準叢集的狀態伺服器建議使用Redis單機作為狀態伺服器。
請先確定Redis單機已啟動,否則工程無法成功連結它。
請準備好Redis單機的密碼(如果沒有密碼可不準備)
請準備好Redis單機節點的主機IP和埠號(不建議使用域名,請準備內網IP)
配置步驟:
1)開啟「狀態伺服器」按鈕。
2)選擇快取系統為「Redis單機」。
3)輸入Redis單機節點的主機IP和埠。
4)如有密碼,輸入密碼;如無密碼,忽略該步驟。
5)配置完畢後,點選「測試連結並儲存」,若無異常則可儲存成功。
效果預覽:
成功開啟的狀態伺服器如下圖所示:
5. 配置MQ內建
MQ內建功能專為「容器化部署」的叢集準備,非容器化手動部署叢集無需關注該步驟,直接跨越。
容器化部署 安裝的工程,一般預設配置了 rocketmq 組件,rocketmq可更換 Redis 訊息佇列一部分功能。
若未配置rocketmq,預設使用redis。
若配置了rocketmq,rocketmq和redis同時生效,負責不同功能。
6. 配置檔案伺服器
配置前提:
標準叢集的檔案一致設定建議選擇「檔案伺服器共享>SFTP」。
請先確定第四章狀態伺服器配置成功,否則無法配置檔案伺服器。
請先確定SFTP服務已啟動,否則工程無法成功連結該檔案伺服器。
準備步驟:
1)將該工程節點的%FR_HOME%\webapps\webroot\WEB-INF資料夾copy到檔案伺服器中。
2)為檔案伺服器中的 WEB-INF 資料夾賦予權限,Linux 系統中為 777 權限。
3)SFTP 所在檔案伺服器防火牆需開放 22 埠。
4)請準備好該檔案伺服器中該WEB-INF資料夾的路徑地址,形如/home/ftpuser/WEB-INF
5)請準備好該檔案伺服器的編碼格式、主機IP、埠號、帳號、密碼/金鑰檔案(主機IP請準備內網IP)
配置步驟:
1)檔案一致設定選擇「檔案伺服器共享」
2)在彈出框中協定選擇「SFTP」
3)輸入上文準備的檔案伺服器資訊
4)配置完畢後,點選「測試連結並儲存」,若無異常則可儲存成功。
效果預覽:
成功開啟的檔案伺服器如下圖所示:
7. 配置快取模式
標準直連叢集的快取模式建議選擇「關閉快取」。
8. 配置叢集通訊協定
標準叢集的叢集通訊協定建議選擇「TCP」。
9. 確認單節點叢集配置成功
1)開啟「開啟叢集」按鈕。
2)重啟該節點工程。
3)再次查看「管理系統>智慧維運>叢集配置」,在節點管理處出現本工程節點。
至此,該工程節點與外接資料庫、狀態伺服器、檔案伺服器的對接完全成功,單節點叢集部署成功。
10. 配置多節點工程
1)部署叢集的其他工程節點
部署方法請參考單機部署的「部署包部署」或「獨立部署」。
2)copy工程檔案
將上文的單機叢集節點的%BI_HOME%\webapps\webroot資料夾,分別copy改寫新部署的其他工程節點的%BI_HOME%\webapps\webroot資料夾。
3)修改spider.cluster.properties(可選)
如需調整埠等配置,可執行本節操作。如無需調整,可跨越。
在每個新工程節點的%BI_HOME%\webapps\webroot\WEB-INF\config目錄下,找到spider.cluster.properties檔案,修改相關配置。
設定內容 | 說明 |
---|---|
spider_grpc_port=xxx | 設定spider引擎rpc埠,如不配置,預設埠為50051 確定配置一個閒置可用的埠即可 |
bi_conf_rpc_port=xxx | 設定新配置框架的rmi,如不配置,預設埠為50200 確定配置一個閒置可用的埠即可 |
is_sync_node=true | 設定工程節點屬性,如不配置,預設為同步節點
四節點以下叢集,建議所有叢集節點都配置為true 五節點以上叢集,建議其中四個節點為true,其他為false |
4)刪除cluster.properties
找到新工程節點的%BI_HOME%\webapps\webroot\WEB-INF\config目錄,如果存在cluster.properties檔案,刪除該檔案。
5)重啟這些新工程節點
11. 確認多節點叢集配置成功
管理者依次登入每一個工程節點,查看「管理系統>智慧維運>叢集配置」,在節點管理處出現所有工程節點資訊。
至此,所有工程節點與外接資料庫、狀態伺服器、檔案伺服器的對接完全成功,多節點叢集部署成功。
12. 配置負載均衡
負載均衡可以透過各種算法來分配使用者請求到不同的節點上,以獲得更好的效能和負載均衡效果。
標準叢集的負載均衡建議選擇「Nginx」。
請先確定已參考文檔進行部署:Linux系統安裝配置Nginx
配置步驟:
1)修改nginx.conf
以該檔案作為基礎:抽取叢集nginx.zip
參考文檔修改nginx.conf檔案:Linux系統安裝配置Nginx
2)重啟Nginx組件。
13. 確認標準叢集配置成功
在瀏覽器輸入ip:負載均衡埠號/status查看健康頁面,可以看到工程各個節點的健康狀態。
至此,一個標準的多節點叢集就部署成功了。
14. 確認抽取叢集啟動
高可用叢集生效後,抽取叢集自動生效。
管理者登入FineBI,點選「管理系統>系統管理>抽取叢集」,即可查看節點資訊。
SYNC為同步節點,ASYNC為非同步節點,具體說明請參見:抽取叢集管理介面。
使用者可以嘗試新增、更新、查詢抽取的基礎表和自助資料集,如果無異常說明已成功搭建抽取叢集。
15. 下一步操作
下一步操作 | 說明 |
---|---|
叢集註冊 | 若單機工程原本註冊了,升級為多節點叢集后,需要重新註冊 |
產品安全加固指導手冊 | 參考文檔提高產品安全性 |
維運監視指導手冊 | 參考文檔提高維運穩定性 |
維運平台 | 建議為叢集配置維運平台工具 |