Linux系統手動配置標準抽取叢集

1. 概述

本文介紹如何在 Linux 系統中手動配置標準抽取叢集。

如您計劃部署FineBI6.0抽取叢集,請先聯絡帆軟技術支援或帆軟銷售代表,進行初步評估、以及環境資訊等的確認。

技術支援聯絡方式:帆軟官方服務渠道使用説明

如您未聯絡過帆軟,自行進行抽取叢集的部署,無法保證遇到未知風險後能夠即時處理。

2. 準備步驟

手動配置標準叢集之前,請先提前準備好以下內容。


操作步驟
說明
1準備伺服器環境

準備工程節點+負載均衡+狀態伺服器+檔案伺服器+配置庫部署環境

請確定各工程節點和組件所在伺服器間內網互通

請確定各工程節點和組件所在伺服器系統時間一致

推薦環境:工程部署推薦環境及配置

支援環境:叢集工程部署支援環境及配置

2部署資料庫

部署資料庫,作為工程的外接資料庫備用,推薦部署MySQL5資料庫

使用者只需要部署並啟動該資料庫。

支援的資料庫類型請參考:配置外接資料庫

3部署負載均衡

部署負載均衡,推薦Nginx部署方案

只需要安裝Nginx,無需啟動,無需修改nginx.conf配置檔案

參考文檔:Linux系統安裝配置Nginx

4部署狀態伺服器

部署狀態伺服器,推薦部署Redis單機

請確定Redis單機啟動

參考文檔Linux系統安裝配置單機Redis

5部署檔案伺服器

部署檔案伺服器,推薦部署SFTP

請確定SFTP啟動

參考文檔:Linux系統配置使用SFTP

6部署工程節點先只部署並啟動一個工程節點

部署方法請參考單機部署的「部署包部署」或「獨立部署」

3. 配置並啟動工程

3.1 配置Linux系統參數

需要為Linux修改三個系統參數,以確定後續抽取叢集正常運作。

參數名
簡介修改方法
vm.max_map_count

vm.max_map_count是一個Linux系統核心參數,用於控制在一個進程中允許mmap映射記憶體區域的最大數量。

如果該參數的值太小,那麼在使用一些應用程式時,可能會出現記憶體映射錯誤。

建議配置 vm.max_map_count 參數為 262144

  • /etc/sysctl.conf檔案中新增/修改參數值

      vm.max_map_count=262144

  • 運作以下命令使更改生效 

     sysctl -p

最大檔案開啟數

open_files是指一個進程可以同時開啟的檔案描述符的最大數量。

檔案描述符是Unix系統中用於存取檔案(包括管道、套接字和其他檔案操作)的唯一識別符號。

建議FineBI工程的open_files參數配置不低於131070

  • 修改參數配置

開啟Linux的軟硬體限制檔案/etc/security/limits.conf,在檔案尾部新增如下程式碼: 

* soft nofile 131070

* hard nofile 131070

上述命令中,hard表示系統的硬限制,soft表示使用者的軟限制。

  • 重啟工程並重新登入

配置完成後,終端使用者重新登入,並重啟Tomcat工程,配置方可生效。

可使用ulimit -n命令,根據回傳值確認是否修改成功。

glibc解決當機隱患問題

1)判斷glibc版本

 運作命令 ldd --version

2)若glibc版本不是2.12

在 startup.sh 檔案第一行增加一行內容:

export MALLOC_ARENA_MAX=1

3)重啟tomcat

3.2 配置Redis日誌

對於FineBI6.0抽取叢集,狀態伺服器Redis是比較關鍵的組件,需要配置下日誌,便於日後排查問題。

在redis.conf檔案中,日誌預設配置為:logfile ""

新增/修改為:logfile "redis.log"

配置後日志會自動生成在src目錄下。

3.3 建立spider.cluster.properties(可選)

如需調整埠等配置,可執行本節操作。如無需調整,可跨越。

%BI_HOME%\webapps\webroot\WEB-INF\config目錄下,建立spider.cluster.properties檔案。

檔案中包含三行內容:

設定內容說明
spider_grpc_port=xxx

設定spider引擎rpc埠,如不配置,預設埠為50051

確定配置一個閒置可用的埠即可

bi_conf_rpc_port=xxx

設定新配置框架的rmi,如不配置,預設埠為50200

確定配置一個閒置可用的埠即可

is_sync_node=true

設定工程節點屬性,如不配置,預設為同步節點

false:非同步節點

true:同步節點

3.4 啟動並登入平台

啟動該FineBI工程節點。

1)確定配置外接資料庫

管理者登入FineBI系統,點選「管理系統>系統管理>標準>外接資料庫」,確定系統已配置外接資料庫。

2)進入叢集配置介面

管理者登入FineBI系統,點選「管理系統>智慧維運>叢集配置」。

下文所有配置操作均在本頁面完成。

4. 配置狀態伺服器

準備內容:

標準叢集的狀態伺服器建議使用Redis單機作為狀態伺服器。

  • 請先確定Redis單機已啟動,否則工程無法成功連結它。

  • 請準備好Redis單機的密碼(如果沒有密碼可不準備)

  • 請準備好Redis單機節點的主機IP和埠號(不建議使用域名,請準備內網IP)

配置步驟:

1)開啟「狀態伺服器」按鈕。

2)選擇快取系統為「Redis單機」。

3)輸入Redis單機節點的主機IP和埠。

4)如有密碼,輸入密碼;如無密碼,忽略該步驟。

5)配置完畢後,點選「測試連結並儲存」,若無異常則可儲存成功。

效果預覽:

成功開啟的狀態伺服器如下圖所示:

5. 配置MQ內建

MQ內建功能專為「容器化部署」的叢集準備,非容器化手動部署叢集無需關注該步驟,直接跨越

容器化部署 安裝的工程,一般預設配置了 rocketmq 組件,rocketmq可更換 Redis 訊息佇列一部分功能。

  • 若未配置rocketmq,預設使用redis。

  • 若配置了rocketmq,rocketmq和redis同時生效,負責不同功能。

6. 配置檔案伺服器

配置前提:

標準叢集的檔案一致設定建議選擇「檔案伺服器共享>SFTP」。

  • 請先確定第四章狀態伺服器配置成功,否則無法配置檔案伺服器。

  • 請先確定SFTP服務已啟動,否則工程無法成功連結該檔案伺服器。

準備步驟:

1)將該工程節點的%FR_HOME%\webapps\webroot\WEB-INF資料夾copy到檔案伺服器中。

2)為檔案伺服器中的 WEB-INF 資料夾賦予權限,Linux 系統中為 777 權限。

3)SFTP 所在檔案伺服器防火牆需開放 22 埠。

4)請準備好該檔案伺服器中該WEB-INF資料夾的路徑地址,形如/home/ftpuser/WEB-INF

5)請準備好該檔案伺服器的編碼格式、主機IP、埠號、帳號、密碼/金鑰檔案(主機IP請準備內網IP)

配置步驟:

1)檔案一致設定選擇「檔案伺服器共享」

2)在彈出框中協定選擇「SFTP」

3)輸入上文準備的檔案伺服器資訊

4)配置完畢後,點選「測試連結並儲存」,若無異常則可儲存成功。

效果預覽:

成功開啟的檔案伺服器如下圖所示:

7. 配置快取模式

標準直連叢集的快取模式建議選擇「關閉快取」。

8. 配置叢集通訊協定

標準叢集的叢集通訊協定建議選擇「TCP」。

9. 確認單節點叢集配置成功

1)開啟「開啟叢集」按鈕。

2)重啟該節點工程。

3)再次查看「管理系統>智慧維運>叢集配置」,在節點管理處出現本工程節點。

至此,該工程節點與外接資料庫、狀態伺服器、檔案伺服器的對接完全成功,單節點叢集部署成功。

10. 配置多節點工程

1)部署叢集的其他工程節點

部署方法請參考單機部署的「部署包部署」或「獨立部署」。

2)copy工程檔案

將上文的單機叢集節點的%BI_HOME%\webapps\webroot資料夾,分別copy改寫新部署的其他工程節點的%BI_HOME%\webapps\webroot資料夾。

3)修改spider.cluster.properties(可選)

如需調整埠等配置,可執行本節操作。如無需調整,可跨越。

在每個新工程節點的%BI_HOME%\webapps\webroot\WEB-INF\config目錄下,找到spider.cluster.properties檔案,修改相關配置。

設定內容說明
spider_grpc_port=xxx

設定spider引擎rpc埠,如不配置,預設埠為50051

確定配置一個閒置可用的埠即可

bi_conf_rpc_port=xxx

設定新配置框架的rmi,如不配置,預設埠為50200

確定配置一個閒置可用的埠即可

is_sync_node=true

設定工程節點屬性,如不配置,預設為同步節點

  • false:非同步節點

  • true:同步節點

四節點以下叢集,建議所有叢集節點都配置為true

五節點以上叢集,建議其中四個節點為true,其他為false

4)刪除cluster.properties

找到新工程節點的%BI_HOME%\webapps\webroot\WEB-INF\config目錄,如果存在cluster.properties檔案,刪除該檔案。

5)重啟這些新工程節點

11. 確認多節點叢集配置成功

管理者依次登入每一個工程節點,查看「管理系統>智慧維運>叢集配置」,在節點管理處出現所有工程節點資訊。

至此,所有工程節點與外接資料庫、狀態伺服器、檔案伺服器的對接完全成功,多節點叢集部署成功。

12. 配置負載均衡

負載均衡可以透過各種算法來分配使用者請求到不同的節點上,以獲得更好的效能和負載均衡效果。

標準叢集的負載均衡建議選擇「Nginx」。

請先確定已參考文檔進行部署:Linux系統安裝配置Nginx

配置步驟:

1)修改nginx.conf

以該檔案作為基礎:抽取叢集nginx.zip

參考文檔修改nginx.conf檔案:Linux系統安裝配置Nginx

2)重啟Nginx組件。

13. 確認標準叢集配置成功

在瀏覽器輸入ip:負載均衡埠號/status查看健康頁面,可以看到工程各個節點的健康狀態。

至此,一個標準的多節點叢集就部署成功了。

14. 確認抽取叢集啟動

高可用叢集生效後,抽取叢集自動生效。

管理者登入FineBI,點選「管理系統>系統管理>抽取叢集」,即可查看節點資訊。

SYNC為同步節點,ASYNC為非同步節點,具體說明請參見:抽取叢集管理介面

使用者可以嘗試新增、更新、查詢抽取的基礎表和自助資料集,如果無異常說明已成功搭建抽取叢集。

15. 下一步操作

下一步操作
說明
叢集註冊

若單機工程原本註冊了,升級為多節點叢集后,需要重新註冊

產品安全加固指導手冊參考文檔提高產品安全性
維運監視指導手冊參考文檔提高維運穩定性
維運平台建議為叢集配置維運平台工具


附件列表


主题: 部署整合
已经是第一篇
已经是最后一篇
  • 有帮助
  • 没帮助
  • 只是浏览
中文(繁體)

滑鼠選中內容,快速回饋問題

滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。

不再提示

9s后關閉

獲取幫助
線上支援
獲取專業技術支援,快速幫助您解決問題
工作日9:00-12:00,13:30-17:30在线
頁面反饋
針對當前網頁的建議、問題反饋
售前咨詢
業務咨詢
電話:0933-790886或 0989-092892
郵箱:taiwan@fanruan.com
頁面反饋
*問題分類
不能為空
問題描述
0/1000
不能為空

反馈已提交

网络繁忙