反饋已提交

網絡繁忙

當機處理

1. 概述

1.1 版本

報表伺服器版本系統維運插件版本功能變更
11.0
--
11.0.8
V1.4.5

1)「自訂匯出記憶體堆疊」支援選擇匯出內容:堆疊、histo、dump

2)「自訂匯出記憶體堆疊」預設開啓,預設選中全部

11.0.14V1.4.6

1)「當機自助精靈」中的當機原因和解決方案優化

2)當機自動處理適配FineBI

3)「進程自動恢復」功能從「當機自動重啓」功能中拆分獨立出來,支援配置生效時間

4)「當機自動重啓」功能不再和配置dump自動匯出強聯動

5)「自動匯出記憶體堆疊」功能預設開啓

1.2 應用場景

報表工程部署在伺服器上後,會因為各種原因導致當機。

當機後若直接重啓沒有抓取 DUMP 檔案 ,很難定位到真實原因,進而無法快速解決問題和做一些防止再發生的預防措施,造成的時間和精力損失無法估計,對伺服器維運非常不友好。

FineReport 內建「系統維運」插件,提供「當機自動處理」功能。

發生當機後,透過分析生成的 DUMP 檔案,可以快速定位當機原因,及時處理當機問題和做一些有效的預防措施,為使用者增加一道保險。

1.3 功能簡介

「當機處理」功能實質上是一個當機自動處理工具,有平台入口和用戶端入口。

1)平台端:內建在平台的部分主要為工具運作環境監測和一些設定項,分別為當機自助精靈、運作監測、當機處理、記憶體堆疊匯出記錄、伺服器重啓記錄。

2)用戶端:用戶端主要監視工程運作狀況。

注1:對於非 Tomcat 容器部署以及設計器自帶的工程,不支援「當機處理」功能。

注2:FineReport與FineBI整合的工程,在使用此功能時,優先呼叫FineBI的「當機處理」功能,禁用FineReport的「當機處理」功能,以保證不影響FineBI工程的運作。

2. 平台端

超管登入數據決策系統,點選「管理系統>智慧維運>當機處理」,就可以看到平台端對應的功能模組。如下圖所示:

模組下功能分為當機自助精靈、運作監測、當機處理、記憶體堆疊匯出記錄、伺服器重啓記錄 5 部分。

注:當機處理頁面在平台端開啟時,載入時間較長,請耐心等待。

2.1 當機自助嚮導

記錄工程的當機時間和當機原因,並提供對應的推薦處理方案。如下圖所示:

常見的當機原因和推薦處理方案如下表所示:
當機原因推薦處理方案

記憶體上限溢位,可查看具體引發該問題的範本,包括:

被中止的範本

範本計算佔用記憶體過高

範本計算時間過長

sql執行時間過長

範本資料集資料行數大於建議限制行數

範本儲存格數大於建議限制儲存格數

1)建議對詳情中的範本進行效能排查,同時開啓範本限制,配置合理的限制範圍以避免範本效能導致當機。

範本限制請參見:範本限制

2)如果當前系統堆內記憶體配置小於推薦配置時,額外建議使用系統檢查功能對應用進行診斷,修改堆內記憶體至推薦值。

系統檢查請參見:系統檢查

JDK附帶Bug更換爲1.8.0_181及以上版本的JDK8
工件系統記憶體配置不合理

使用系統檢查功能對應用進行診斷,並參照推薦值修改記憶體配置

系統檢查功能請參見:系統檢查

磁碟空間不足請檢查磁碟空間並清理不必要檔案

磁碟擴容請參見:磁碟擴容

記憶體映射檔案數量設定過低

使用系統檢查功能對應用進行診斷,並參照推薦值修改記憶體映射檔案數量配置

系統檢查功能請參見:系統檢查

當前所用版本存在當機BUG

建議更新升級至最新的小版本

FR更新升級請參見:FR升級指南

BI更新升級請參見:BI升級指南

有當機檔案但無法確定當機原因上傳雲端維運日誌進行反饋

雲端維運功能請參見:雲端健檢分析

SSH跳出導致應用跳出

透過SSH方式啟動應用會導致SSH跳出時應用也被跳出

建議使用其他命令行遠端工具如secureCRT或配置其他應用伺服器自啟動等方式

工程啟動方法請參見:Web 應用服務器開機自啓動

資料源取數耗時過長導致執行緒阻擋建議使用抽數快取、SQL優化、資料預處理等方式提升取數效能

效能優化請參見:效能優化指導手冊

抽數快取功能請參見:抽數緩存介紹

範本助手功能請參見:模板檢測助手

日誌匯出導致執行緒阻擋請調高日誌匯出級別減少日誌匯出或檢查磁碟剩餘空間是否不足

日誌級別調整請參見:日志簡介

磁碟擴容請參見:磁碟擴容

系統記憶體釋放時間過長

1)將堆記憶體調整為小於64GB的數值

堆記憶體調整方法請參見:系統檢查

2)建議更換更高性能CPU

硬體配置推薦請參見:硬件配置

2.2 執行檢測

如需使用 2.3 節的當機處理功能,必須確定「執行檢測」的每一項都符合要求。

系統需要滿足一些條件,才能保證當機自動處理工具的正常執行。因此工程啟動後,會先對埠狀態、JDK環境、堆外記憶體、部署情況進行檢查。

檢查有問題則提醒使用者做相應修改或者禁用當機功能,無問題則持續穩定運作。如下圖所示:

執行檢測」每項對應的檢查內容如下表所示:

注:若檢查結果為優,則提示「此項配置良好,無需調整」

序号檢查項檢查出問題標準修改建議
1工件系統當前系統非 Windows/Linux 系統建議使用 Linux 系統以保證當機自動處理工具穩定運作

此狀況下,將不進行下面的四項檢查

212100埠狀態異常(埠未開啓或被佔用)建議開放 12100 埠或設定其他埠以保證系統正常運作埠設定請參考本文 2.3.5 節
3JDK1)工程中有 非 Oracle jre 的 tools.jar,且工程中未配置 JDK(系統配置JDK有問題)

2)工程中無 tools.jar,且工程中未配置 JDK(系統配置JDK有問題)

建議增加系統 JDK 配置/ tools.jar 設定以保證系統正常運作JDK 和 tools.jar 設定請參考:Linux 下 Tomcat 服務器獨立部署
4堆外記憶體堆外記憶體不足

強烈建議物理機總記憶體減去系統所在容器使用記憶體不小於10GB

5部署方式非 Tomcat 容器部署建議使用 Tomcat 容器部署Tomcat 部署請參考:Tomcat 服務器部署

當監測到工作系統、埠、JDK、堆外記憶體影響功能使用時,會透過「平台訊息」和平台右下角「彈窗訊息」提醒使用者。

點選「處理」即可跳轉到跳轉到「當機處理」平台配置頁面,進而對其進行相應的處理。

訊息提醒內容為:當前當機自動處理工具不可用,為保證功能正常運作,建議你點選處理查看詳情。

2.3 當機處理

如需使用 「當機處理」功能,必須確定 2.2 節「運作檢查」的每一項都符合要求。

使用者可以在「當機處理」位置做一些配置設定,可設定的項為:當機自動處理、自動匯出記憶體堆疊、當機自動重啓、當機通知、埠設定。如下圖所示:

以下所有設定修改後需點選「儲存」按鈕才會生效。

2.3.1 當機自動處理

使用說明:

開啓該按鈕,才支援進行下方功能的配置,否則全部不可用。

此開關預設開啓。

使用前提:

在工作時段(6:00-23:00),當應用主進程關閉5分鐘後,若當機自動處理無法成功重啓工程,則該工具跟隨關閉。

在非工作時段(0:00-6:00,23:00-24:00),即使應用主進程關閉,當機自動處理工具也不會跟隨關閉。

2.3.2 自動匯出記憶體堆疊

當系統配置滿足【執行檢測】中的運作條件時,工具自動運作,此開關預設開啓。

當系統配置不滿足運作條件時,開關圖示灰化,不能編輯修改。

使用說明:

開關開啓後,當發生當機時會自動匯出當機日誌。

支援匯出的當機日誌內容包括:堆疊、histo、dump

匯出位置為:當機節點所在伺服器下%Tomcat%\logs\FineLog\日期資料夾內

注:開啓後自動匯出當機日誌。如果擔心dump匯出時間長影響效能,可只選擇匯出堆疊和histo日誌。

使用前提:

  • 若「當機自動處理」未開啓,此項灰化處理,不能編輯修改。

  • 若「當機自動處理」開啓,此項預設開啓。

2.3.3 當機自動重啓

使用說明:

開啓後,當高負載導致當機時,會自動重啓工程。

使用前提:

1)開啓「當機自動處理」

  • 若「當機自動處理」未開啓,此項灰化處理,不能編輯修改。

  • 若「當機自動處理」開啓,此項預設關閉。

2)系統情況

開關開啓時,會對當前系統情況做檢查。檢查是否為 Windows 工作系統,是否為 Windows 服務形式。

  • 若系統為 Windows 工作系統且為 Windows 服務形式,彈窗提示:該功能暫不支援當前系統。如下圖所示:

       點選完成和關閉按鈕後彈窗關閉,開關不開啓。


  • 若系統為 Windows 工作系統且非Windows 服務形式,彈窗提示:當前系統可能會存在重啓失敗。如下圖所示:

       點選完成或關閉按鈕後關閉彈窗,開關開啓。


2.3.4 進程自動恢復

使用說明:

開啓後,管理者可設定功能生效時間段。在指定時間段內,當應用進程消失時,會自動重啓工程。

使用前提:

1)開啓「當機自動處理」

  • 若「當機自動處理」未開啓,此項灰化處理,不能編輯修改。

  • 若「當機自動處理」開啓,此項預設關閉。

2)系統情況

開關開啓時,會對當前系統情況做檢查。檢查是否為 Windows 工作系統,是否為 Windows 服務形式。

  • 若系統為 Windows 工作系統且為 Windows 服務形式,彈窗提示:該功能暫不支援當前系統。如下圖所示:

       點選完成和關閉按鈕後彈窗關閉,開關不開啓。1645687169qFvs[1].png

  • 若系統為 Windows 工作系統且非Windows 服務形式,彈窗提示:當前系統可能會存在重啓失敗。如下圖所示:

       點選應答或關閉按鈕後關閉彈窗,開關開啓。

sb.png

2.3.5 當機通知

若「當機自動處理」未開啓,此項灰化處理,不能編輯修改;若「當機自動處理」開啓,此項預設關閉,開啓後,可配置簡訊提醒、平台訊息提醒、郵箱提醒,當發生當機時會按配置的通知方式通知到使用者

2.3.6 埠設定

使用說明:

支援使用者設定當機處理工具佔用的埠,預設埠為 12100。

埠號範圍要在1024 到 65535 之間,否則「當機處理工具」無法啟動,「當機處理」頁面無法開啟。如下圖所示:

使用前提:

  • 若「當機自動處理」未開啓,此項灰化處理,不能編輯修改。

  • 若「當機自動處理」開啓,預設埠為 12100。

輸入新的埠號後,點選「測試」,若新的埠號存在異常,則彈窗提示:埠異常,請重新設定。如下圖所示:

若埠無異常,則彈窗提示:埠可用,儲存後當機自動處理工具將在新埠重啓。如下圖所示:

    

2.4 記憶體堆疊匯出記錄

記錄自動生成 DUMP 檔案記錄。

包括匯出的匯出內容、開始時間、時長、是否成功、如果失敗,失敗的原因等。如下圖所示:

注:僅讀取最近一個月的當機處理記錄。

2.5 伺服器重啓記錄

記錄伺服器重啓的記錄。

包括重啓的開始時間、時長、是否成功、如果失敗,失敗的原因等。如下圖所示:

注:僅讀取最近一個月的當機處理記錄。

3. 用戶端

伺服器工程以管理者權限啟動後,管理者在瀏覽器端輸入

http://IP:埠(當機自動處理工具預設埠為12100,若修改了埠,此處為修改後的埠)/operation/tool,便可以進入當機工具用戶端介面,如下圖所示:

超管使用帳號密碼登入後可進入使用者端介面,登入失敗 5 次登入鎖定,限制 60 分鐘內不可登入;登入有效期為 15 分鐘,逾時自動跳出。

注:若使用者在當機時被登入鎖定,需要使用者手動殺掉進程。

使用者端介面, 主要有工程運作情況監視和匯出堆疊兩個功能,右上角有「註銷登錄」按鈕,點選可跳出登入。如下圖所示:

3.1 運作監視

工程運作監視中,若伺服器正常運作,則畫面顯示:正常運作中。如下圖所示:

若發生當機,則畫面顯示:已當機,正在處理中。如下圖所示:

當機後,工具自動處理時,使用者可手動終止工具對於當機問題的處理,進行終止後,頁面顯示:已終止當機自動處理,請及時手動重啓系統。如下圖所示:

3.2 匯出堆疊

使用者可以在「匯出堆疊」處,匯出執行緒堆疊和記憶體堆疊檔案,點選相應位置匯出即可。如下圖所示:

匯出成功後提示:匯出成功,否則提示匯出失敗,匯出的堆疊檔案位置為:%Tomcat%\logs\FineLog\日期

附件列表


主題: 數據決策系統
已經是第一篇
已經是最後一篇
  • 有幫助
  • 沒幫助
  • 只是瀏覽
  • 圖片不清晰
  • 用語看不懂
  • 功能說明看不懂
  • 操作說明太簡單
  • 內容有錯誤
中文(繁體)

文 檔回 饋

滑鼠選中內容,快速回饋問題

滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。

不再提示

10s後關閉