當機處理策略

1.1 版本

1.2 應用場景

帆軟工程部署在伺服器上後，可能會因為各種原因導致當機。

當機後若直接重啟而沒有抓取 DUMP 檔案，很難定位到真實原因。

這不僅無法快速解決問題，還無法採取預防措施，導致時間和精力的巨大損失，對伺服器維運非常不友好。

1.3 功能簡介

如何有效監測和處理帆軟應用的當機問題，以減少時間和精力的損失，並提高伺服器維運的友好性？

維運平台支援呼叫維運專案中的當機處理工具，對帆軟應用進行當機監測與自動處理。

1）當監測到維運專案當機後，自動生成 DUMP 檔案，同時可重新啟動工程、恢復進程。

2）透過分析生成的 DUMP 檔案，快速定位當機原因，即時處理當機問題，並採取有效的預防措施，為使用者增加一道保險。

本文將詳細講解如何開啟當機自動處理，並設定相關當機處理策略。

2.1 確定當機處理工具可用

當機處理工具，是維運專案中一個獨立運作的工具。維運平台對專案的當機監測和自動重啟等，均依賴該工具。

2.2 配置當機處理策略

1）管理者登入維運平台，選擇維運專案，點選「可用性統計>當機處理策略」。

2）開啟「當機自動重啟」，這是開啟其他當機處理策略的前提。

3）支援配置各類當機處理策略，點選「儲存」生效。

4）當觸發當機處理策略後，會自動觸發對應組件/工程重啟。

當機處理策略	觸發條件
高負載檢查	面向專案：所有維運平台部署的專案 面向組件：fr、fdl、bi-web 觸發機制：連續FullGC後依舊負載較高（連續5次FullGC且負載分大於100），會自動觸發對應組件重啟
引擎計算節點	面向專案：V2.29.0及之後版本維運平台部署/升級的FineBI6.1.8/7.0.6及以上版本專案 面向組件：bi-engine-worker 支援配置的策略規則： 間隔時間interval：每次容器健康檢查的間隔時間，預設30秒 逾時時間timeout：容器健康檢查的逾時傳回時間，預設6秒 連續失敗臨界值failureThreshold：容器連續健康檢查失敗的次數，達到即觸發bi-engine-worker重啟，預設10次 觸發機制：（以預設策略規則進行範例講解） 每隔30秒對bi-engine-worker容器進行一次健康檢查，檢查容器狀態是否為health 如果達到逾時時間6秒仍未檢查出容器狀態，或容器狀態非health，則認為容器健康檢查失敗 當容器健康檢查連續失敗次數達到臨界值10次，則自動觸發bi-engine-worker重啟
引擎元資料節點	面向專案：V2.29.0及之後版本維運平台部署/升級的FineBI6.1.8/7.0.6及以上版本專案 面向組件：bi-engine-master 支援配置的策略規則： 間隔時間interval：每次容器健康檢查的間隔時間，預設30秒 逾時時間timeout：容器健康檢查的逾時傳回時間，預設6秒 連續失敗臨界值failureThreshold：容器連續健康檢查失敗的次數，達到即觸發bi-engine-master重啟，預設10次 觸發機制：（以預設策略規則進行範例講解） 每隔30秒對bi-engine-master容器進行一次健康檢查，檢查容器狀態是否為health 如果達到逾時時間6秒仍未檢查出容器狀態，或容器狀態非health，則認為容器健康檢查失敗 當容器健康檢查連續失敗次數達到臨界值10次，則自動觸發bi-engine-master重啟
FineBI應用節點	面向專案：V2.29.0及之後版本維運平台部署/升級的FineBI6.1.8/7.0.6及以上版本專案 面向組件：bi-web 支援配置的策略規則： 間隔時間interval：每次容器健康檢查的間隔時間，預設60秒 逾時時間timeout：容器健康檢查的逾時傳回時間，預設10秒 連續失敗臨界值failureThreshold：容器連續健康檢查失敗的次數，達到即觸發bi-web重啟，預設10次 觸發機制：（以預設策略規則進行範例講解） 每隔60秒對bi-web容器進行一次健康檢查，檢查容器狀態是否為health 如果達到逾時時間10秒仍未檢查出容器狀態，或容器狀態非health，則認為容器健康檢查失敗 當容器健康檢查連續失敗次數達到臨界值10次，則自動觸發bi-web重啟
j2v8服務	面向專案：V2.29.0及之後版本維運平台部署/升級的FineBI7.0.6及以上版本專案，且獨立部署了Fine Canvas服務 面向組件：fine-canvas 支援配置的策略規則： 間隔時間interval：每次容器健康檢查的間隔時間，預設10秒 逾時時間timeout：容器健康檢查的逾時傳回時間，預設3秒 連續失敗臨界值failureThreshold：容器連續健康檢查失敗的次數，達到即觸發fine-canvas重啟，預設3次 觸發機制：（以預設策略規則進行範例講解） 每隔10秒對fine-canvas容器進行一次健康檢查，檢查容器狀態是否為health 如果達到逾時時間3秒仍未檢查出容器狀態，或容器狀態非health，則認為容器健康檢查失敗 當容器健康檢查連續失敗次數達到臨界值3次，則自動觸發fine-canvas重啟

3.1 確定當機處理工具可用

當機處理工具，是維運專案中一個獨立運作的工具。維運平台對專案的當機監測和自動重啟等，均依賴該工具。

3.2 配置當機自動重啟

1）管理者登入維運平台，選擇維運專案，點選「可用性統計>當機處理策略」。

2）支援開啟「當機自動重啟」，點選「儲存」生效。

3）當fr、fdl、bi-web組件，連續FullGC後依舊負載較高（連續5次FullGC且負載分大於100）時，如開啟了「當機自動重啟」策略，會自動觸發對應組件/工程重啟。

3.3 配置進程自動恢復

1）管理者登入維運平台，選擇維運專案，點選「可用性統計>當機處理策略」。

2）支援開啟「進程自動恢復」。開啟後可設定功能生效時間段。點選「儲存」生效。

3）在功能生效時間段內，當fr、fdl、bi-web組件進程消失時，會自動恢復。