1)對於非維運平台部署的專案,支援手動調整nginx、加速引擎監視信息
2)叢集組件出現變更後,監視自動變更配置,確定正常監視
對於維運平台部署的專案,支援手動調整nginx、kafka、加速引擎的配置信息
確定部署成功後手動調整相關組件配置的專案,仍可被正常監視
新增「資料儲存監視」,幫助管理者監視管理FineBI6.1的資料儲存組件
新增「Nacos監視」,幫助管理者監視管理FineDataLink的Nacos組件
組件監視,主要用來監視維運專案中,各類組件(外接資料庫、Nginx、Elasticsearch等)的運作狀況,使用情況等。
1)如需正常使用本文看板,請務必達成使用前提,詳情請參見:監視儀表板使用前提
2)管理者登入FineOps維運平台,選擇維運專案,點選「專案監視>組件監視」。
3)點選右上角可切換查看不同組件:外接資料庫監視、Redis監視、Nginx監視、Elasticsearch監視、Minio監視、加速引擎監視。
注1:右上角支援切換查看不同時間段的監視資料,預設時間段為前30分鐘,支援查看時間範圍為前15天。
注2:根據維運專案中的組件構成,會導致下文提及的部分儀表盤無資料。
例如若未安裝Elasticsearch組件,則Elasticsearch監視儀表盤無資料。
例如若未安裝MinIO組件,則MinIO監視儀表盤無資料。
外接資料庫監視主要用來監視外接資料庫的壓力情況,避免因為外接資料庫的不穩定而影響帆軟系統的正常使用。
2)外接資料庫類型必須為MySQL,且資料庫版本在5.6以上版本
1)儀表板範例
2)儀表板指標說明:
磁碟讀取請求次數
磁碟讀取請求次數持續增長可能出現外接資料庫效能差,磁碟io壓力大等問題
展示外接資料庫的剩餘連結數和實體拒絕連結數
如果剩餘連結數不足可能會出現應用存取異常
展示外接資料庫每秒處理的請求數量
用來判斷外接資料庫的壓力情況
展示外接資料庫正在查詢的語句數量
持續增長可能說明外接資料庫超負荷
展示外接資料庫的慢查詢數量
如果慢查詢數量持續增長可能影響外接資料庫的效能及可用性,需要關注具體慢查詢的情況
ts:檢查到死鎖的時間戳
thread:產生死鎖的執行緒id
txn_id:innodb的交易ID
txd_time:檢查到死鎖前,交易執行時間
user:執行transcation的帳號
db:發生死鎖的DB名
tbl:死鎖發生的表名
idx:產生死鎖的索引名
lock_type:鎖的類型(記錄鎖,gap鎖,next-key鎖)
lock_mode:鎖模式(S,X)
wait_hold:是否等着鎖釋放,一般死鎖都是兩個wait
victim:該對話是否做了犧牲,終止了執行
query:造成死鎖的SQL語句
Redis監視儀表板用於監視帆軟系統使用的Redis狀態伺服器的運作情況。
如需正常使用本文看板,請務必達成使用前提,詳情請參見:監視儀表板使用前提
1)儀表板範例:
redis的架構模式
Standalone:單機模式
Master-Slave Replication:主從模式
Sentinel:哨兵模式
Cluster:叢集模式
伺服器給redis分配的記憶體和已使用的內存
一般redis記憶體佔用較小,如果記憶體使用率很高,那麼可能存在異常
記憶體碎片率表示「Redis向作業系統中申請的記憶體」 與「分配器分配的記憶體總量」的比值
指數在1 ~ 1.5之間是比較健康的
指數>1表明有記憶體碎片,越大表明越多。大於1.5表示,系統分配的記憶體大於Redis實際使用的記憶體,Redis沒有把這部分記憶體返還給系統,產生了很多記憶體碎片。在Redis 4.0版以前,只能透過安全重啟解決這個問題。Redis 4.0及以上版本可以支援記憶體自動清理。
指數<1表明系統分配的記憶體小於Redis實際使用的記憶體,而Redis很有可能在正在使用虛擬記憶體,是相當影響效能的。虛擬記憶體其實就是硬碟,效能比記憶體低得多,這時應該增強機器的記憶體以提高效能。
用於查看當前Redis的使用者端連結個數
預設使用者端連結數最大限制為10000
如果連結數過高,會影響Redis吞吐量。大於5000時通常就需要關注
展示每秒尋找資料庫的成功/失敗的次數
作為參考,可根據業務需求調優Redis配置
展示redis中過期/未過期資料庫鍵數
內網關監視,用於監視帆軟系統使用的內網關的運作情況,重點關注的是請求情況。
1)對於維運平台部署的帆軟內網關nginx,在接入維運平台監視時,可自動獲取nginx資訊
2)對於非維運平台部署的專案nginx,和手動配置了維運平台部署的專案nginx,在接入維運平台監視時,無法自動獲取nginx資訊。
使用者需要手動安裝ngx_http_stub_status_module模組,統計Nginx服務所接收和處理的請求數量,再進行資訊配置。
具體安裝和配置方法請參考下文。
1)檢查是否安裝模組
進入維運專案的Nginx的安裝目錄(本範例/usr/nginx是一個範例目錄,請根據實際情況,確定使用正確的目錄名)
cd /usr/nginx
檢查Nginx啟動了哪些模組
./nginx -V
結果
如果已啟動,將在命令匯出中看到http_stub_status_module的相關資訊「with-http_stub_status_module」。
如果沒有啟動http_stub_status_module模組,則需要重新編譯nginx。
2)安裝模組
進入Nginx的安裝目錄(本範例/usr/nginx是一個範例目錄,請根據實際情況,確定使用正確的目錄名)
在configure命令中,新增http_stub_status_module的支援
./configure --with-http_stub_status_module
注:請將上一步中「nginx -V」發現的已安裝的模組都一一帶上,例如./configure --with-http_stub_status_module --prefix=/usr/nginx --with-pcre=/usr/nginx/pcre-8.42 --with-zlib=/usr/nginx/zlib-1.2.11 --with-http_ssl_module --with-openssl=/usr/nginx/openssl-1.1.1a --with-stream --add-module=/usr/nginx/ngx_healthcheck_module-master
編譯和安裝Nginx
make && make install
3)啟動模組
開啟nginx.conf檔案並修改
在預設情況下,nginx.conf 檔案通常位於 Nginx 的安裝目錄下的 conf 目錄中。
cd /usr/nginx/conf
在nginx.conf檔案中,找到server {}塊,並新增以下配置,以啟動ngx_http_stub_status_module模組查詢Nginx狀態。
location /basic_status { stub_status on; #allow 127.0.0.1; #限制存取ip,可自行修改127.0.0.1為所需開放的ip #deny all; #deny all other hosts }
注意事項:
Location地址請嚴格命名為basic_status。
allow 127.0.0.1和deny all表示僅允許本地存取。
若需允許Nginx Exporter存取,則可將這兩行程式碼註釋,或者將127.0.0.1設定為Nginx Exporter的IP地址。
4)重啟Nginx
檢查Nginx配置檔案的文法和結構是否正確
./nginx -t
關閉Nginx伺服器
./nginx -s stop
重新載入 Nginx 的配置檔案並啟動伺服器
nginx
5)驗證模組是否啟動
驗證ngx_http_stub_status_module模組是否已成功啟動
使用語句查詢,若出現提示「server accepts handled requests」則表示ngx_http_stub_status_module模組已成功啟動。
curl http://127.0.0.1/basic_status
6)維運平台對接Nginx
管理者登入維運平台,選擇維運專案,點選「專案監視>組件監視」,選擇「Nginx監視」,點選「設定」。
填入nginx相關資訊,點選「確定」即可。
2)ElasticSearch監視僅面向安裝並啟動了ElasticSearch作為日誌儲存的專案
如未安裝Elasticsearch組件,則Elasticsearch監視儀表盤無資料。
2)檔案服務監視僅面向安裝並啟動了minio作為叢集檔案服務的專案。
如未安裝minio組件,則檔案服務minio監視儀表盤無資料。
2)加速引擎監視僅面向安裝並啟動了StarRocks組件的FineBI專案。
對於維運平台部署的加速引擎,在接入維運平台監視時,可自動獲取相關資訊
對於非維運平台部署的專案的加速引擎,和手動配置了維運平台部署的專案的加速引擎,在接入維運平台監視時,無法自動獲取加速引擎資訊,需要使用者手動配置。
管理者登入維運平台,選擇維運專案,點選「專案監視>組件監視」,選擇「加速引擎監視」,點選「設定」。
填入StarRocks的各個引擎資訊,點選「確定」即可。
2)Kafka監視僅面向安裝並啟動了kafka組件的FineDataLink專案。
支援監視維運平台部署的、V20.0.2及以上版本的、未手動修改過相關配置的kafka組件
對於非維運平台部署的專案的kafka,和手動調整過的維運平台部署的專案的kafka,在接入維運平台監視時,需要使用者手動配置方可監視。
管理者登入維運平台,選擇維運專案,點選「專案監視>組件監視」,選擇「Kafka監視」,點選「設定」。
填入kafka的伺服器IP和埠,點選「確定」即可。
2)資料儲存監視僅面向安裝並啟動了bi-minio組件的FineBI6.1專案。
2)資料儲存監視僅面向使用維運平台部署了nacos組件的FineDataLink專案。