1. 概述
1.1 版本
報表伺服器版本 | 系統維運插件版本 | 功能變更 |
---|---|---|
11.0 | - | - |
11.0.8 | V1.4.5 | 1)「自訂匯出記憶體堆疊」支援選擇匯出內容:堆疊、histo、dump 2)「自訂匯出記憶體堆疊」預設開啟,預設選中全部 |
11.0.14 | V1.4.6 | 1)「當機自助精靈」中的當機原因和解決方案優化 2)當機自動處理適配FineBI 3)「進程自動恢復」功能從「當機自動重啟」功能中拆分獨立出來,支援配置生效時間 4)「當機自動重啟」功能不再和配置dump自動匯出強聯動 5)「自動匯出記憶體堆疊」功能預設開啟 |
1.2 應用場景
報表工程部署在伺服器上後,會因為各種原因導致當機。
當機後若直接重啟沒有抓取 DUMP 檔案 ,很難定位到真實原因,進而無法快速解決問題和做一些防止再發生的預防措施,造成的時間和精力損失無法估計,對伺服器維運非常不友好。
FineReport 內建「系統維運」插件,提供「當機自動處理」功能。
發生當機後,透過分析生成的 DUMP 檔案,可以快速定位當機原因,即時處理當機問題和做一些有效的預防措施,為使用者增加一道保險。
注1:「宕机处理」功能仅支持运维平台部署的工程,或Tomcat中间件下的工程。
对于非 Tomcat 中间件部署的工程,或设计器自带的工程,不支持「宕机处理」功能。
注2:FineReport与FineBI集成的工程,在使用此功能时,优先调用FineBI的「宕机处理」功能,禁用FineReport的「宕机处理」功能,以保证不影响FineBI工程的运行。
1.3 功能入口
超管登入數據決策系統,點選「管理系統>智慧維運>當機處理」,就可以看到平台端對應的功能模組。如下圖所示:
模組下功能分為當機自助精靈、運作監測、當機處理、記憶體堆疊匯出記錄、伺服器重啟記錄 5 部分。
注:當機處理頁面在平台端開啟時,載入時間較長,請耐心等待。
2 . 當機自助嚮導
記錄工程的當機時間和當機原因,並提供對應的推薦處理方案。如下圖所示:
常見的當機原因和推薦處理方案如下表所示:
當機原因 | 推薦處理方案 |
---|---|
記憶體上限溢位,可查看具體引發該問題的範本,包括: 被中止的範本 範本計算佔用記憶體過高 範本計算時間過長 sql執行時間過長 範本資料集資料行數大於建議限制行數 範本儲存格數大於建議限制儲存格數 | 1)建議對詳情中的範本進行效能排查,同時開啟範本限制,配置合理的限制範圍以避免範本效能導致當機。 範本限制請參見:範本限制 2)如果當前系統堆內記憶體配置小於推薦配置時,額外建議使用系統檢查功能對應用進行診斷,修改堆內記憶體至推薦值。 系統檢查請參見:系統檢查 |
JDK附帶Bug | 更換爲1.8.0_181及以上版本的JDK8 |
工件系統記憶體配置不合理 | 使用系統檢查功能對應用進行診斷,並參照推薦值修改記憶體配置 系統檢查功能請參見:系統檢查 |
磁碟空間不足 | 請檢查磁碟空間並清理不必要檔案 磁碟擴容請參見:磁碟擴容 |
記憶體映射檔案數量設定過低 | 使用系統檢查功能對應用進行診斷,並參照推薦值修改記憶體映射檔案數量配置 系統檢查功能請參見:系統檢查 |
當前所用版本存在當機BUG | 建議更新升級至最新的小版本 FR更新升級請參見:FR升級指南 BI更新升級請參見:BI升級指南 |
有當機檔案但無法確定當機原因 | 上傳雲端維運日誌進行反饋 雲端維運功能請參見:雲端健檢分析 |
SSH跳出導致應用跳出 | 透過SSH方式啟動應用會導致SSH跳出時應用也被跳出 建議使用其他命令行遠端工具如secureCRT或配置其他應用伺服器自啟動等方式 工程啟動方法請參見:Web 應用服務器開機自啟動 |
資料源取數耗時過長導致執行緒阻擋 | 建議使用抽數快取、SQL優化、資料預處理等方式提升取數效能 效能優化請參見:效能優化指導手冊 抽數快取功能請參見:抽數緩存介紹 範本助手功能請參見:模板檢測助手 |
日誌匯出導致執行緒阻擋 | 請調高日誌匯出級別減少日誌匯出或檢查磁碟剩餘空間是否不足 日誌級別調整請參見:日志簡介 磁碟擴容請參見:磁碟擴容 |
系統記憶體釋放時間過長 | 1)將堆記憶體調整為小於64GB的數值 堆記憶體調整方法請參見:系統檢查 2)建議更換更高性能CPU 硬體配置推薦請參見:硬件配置 |
3. 宕机工具使用前提
如需使用第四章的宕机处理功能,必须确保「运行检测」的每一项都符合要求。
系統需要滿足一些條件,才能保證當機自動處理工具的正常執行。因此工程啟動後,會先對埠狀態、JDK環境、堆外記憶體、部署情況進行檢查。
檢查有問題則提醒使用者做相應修改或者禁用當機功能,無問題則持續穩定運作。如下圖所示:
「執行檢測」每項對應的檢查內容如下表所示:
注:若檢查結果為優,則提示「此項配置良好,無需調整」
序号 | 檢查項 | 檢查出問題標準 | 修改建議 |
---|---|---|---|
1 | 工件系統 | 當前系統非 Windows/Linux 系統 | 建議使用 Linux 系統以保證當機自動處理工具穩定運作 此狀況下,將不進行下面的四項檢查 |
2 | 埠 | 12100埠狀態異常(埠未開啟或被佔用) | 建議開放 12100 埠或設定其他埠以保證系統正常運作埠設定請參考本文 2.3.5 節 |
3 | JDK | 1)工程中有 非 Oracle jre 的 tools.jar,且工程中未配置 JDK(系統配置JDK有問題) 2)工程中無 tools.jar,且工程中未配置 JDK(系統配置JDK有問題) | 建議增加系統 JDK 配置/ tools.jar 設定以保證系統正常運作JDK 和 tools.jar 設定請參考:Linux 下 Tomcat 服務器獨立部署 |
4 | 堆外記憶體 | 堆外記憶體不足 | 強烈建議物理機總記憶體減去系統所在容器使用記憶體不小於10GB |
5 | 部署方式 | 非 Tomcat 容器部署 | 建議使用 Tomcat 容器部署Tomcat 部署請參考:Tomcat 服務器部署 |
當監測到工作系統、埠、JDK、堆外記憶體影響功能使用時,會透過「平台訊息」和平台右下角「彈窗訊息」提醒使用者。
點選「處理」即可跳轉到跳轉到「當機處理」平台配置頁面,進而對其進行相應的處理。
訊息提醒內容為:當前當機自動處理工具不可用,為保證功能正常運作,建議你點選處理查看詳情。
4. 當機處理
如需使用 「當機處理」功能,必須確定 2.2 節「運作檢查」的每一項都符合要求。
使用者可以在「當機處理」位置做一些配置設定,可設定的項為:當機自動處理、自動匯出記憶體堆疊、當機自動重啟、當機通知、埠設定。
如下圖所示:
以下所有設定修改後需點選「儲存」按鈕才會生效。
4.1 當機自動處理
使用說明:
開啟該按鈕,才支援進行下方功能的配置,否則全部不可用。
此開關預設開啟。
使用前提:
在工作時段(6:00-23:00),當應用主進程關閉5分鐘後,若當機自動處理無法成功重啟工程,則該工具跟隨關閉。
在非工作時段(0:00-6:00,23:00-24:00),即使應用主進程關閉,當機自動處理工具也不會跟隨關閉。
4.2 自動匯出記憶體堆疊
當系統配置滿足【執行檢測】中的運作條件時,工具自動運作,此開關預設開啟。
當系統配置不滿足運作條件時,開關圖示灰化,不能編輯修改。
使用說明:
開關開啟後,當發生當機時會自動匯出當機日誌。
支援匯出的當機日誌內容包括:堆疊、histo、dump
匯出位置為:當機節點所在伺服器下%Tomcat%logsFineLog日期資料夾內
注:開啟後自動匯出當機日誌。如果擔心dump匯出時間長影響效能,可只選擇匯出堆疊和histo日誌。
使用前提:
若「當機自動處理」未開啟,此項灰化處理,不能編輯修改。
若「當機自動處理」開啟,此項預設開啟。
4.3 當機自動重啟
使用說明:
開啟後,當高負載導致當機時,會自動重啟工程。
使用前提:
1)開啟「當機自動處理」
若「當機自動處理」未開啟,此項灰化處理,不能編輯修改。
若「當機自動處理」開啟,此項預設關閉。
2)系統情況
開關開啟時,會對當前系統情況做檢查。檢查是否為 Windows 工作系統,是否為 Windows 服務形式。
若系統為 Windows 工作系統且為 Windows 服務形式,彈窗提示:該功能暫不支援當前系統。如下圖所示:
點選完成和關閉按鈕後彈窗關閉,開關不開啟。
若系統為 Windows 工作系統且非Windows 服務形式,彈窗提示:當前系統可能會存在重啟失敗。如下圖所示:
點選完成或關閉按鈕後關閉彈窗,開關開啟。
4.4 進程自動恢復
使用說明:
開啟後,管理者可設定功能生效時間段。在指定時間段內,當應用進程消失時,會自動重啟工程。
使用前提:
1)開啟「當機自動處理」
若「當機自動處理」未開啟,此項灰化處理,不能編輯修改。
若「當機自動處理」開啟,此項預設關閉。
2)系統情況
開關開啟時,會對當前系統情況做檢查。檢查是否為 Windows 工作系統,是否為 Windows 服務形式。
若系統為 Windows 工作系統且為 Windows 服務形式,彈窗提示:該功能暫不支援當前系統。如下圖所示:
點選完成和關閉按鈕後彈窗關閉,開關不開啟。
若系統為 Windows 工作系統且非Windows 服務形式,彈窗提示:當前系統可能會存在重啟失敗。如下圖所示:
點選確認或關閉按鈕後關閉彈窗,開關開啟。
4.5 當機通知
若「當機自動處理」未開啟,此項灰化處理,不能編輯修改;若「當機自動處理」開啟,此項預設關閉,開啟後,可配置簡訊提醒、平台訊息提醒、郵箱提醒,當發生當機時會按配置的通知方式通知到使用者
4.6 埠設定
使用說明:
支援使用者設定當機處理工具佔用的埠,預設埠為 12100。
埠號範圍要在1024 到 65535 之間,否則「當機處理工具」無法啟動,「當機處理」頁面無法開啟。如下圖所示:
使用前提:
若「當機自動處理」未開啟,此項灰化處理,不能編輯修改。
若「當機自動處理」開啟,預設埠為 12100。
輸入新的埠號後,點選「測試」,若新的埠號存在異常,則彈窗提示:埠異常,請重新設定。如下圖所示:
若埠無異常,則彈窗提示:埠可用,儲存後當機自動處理工具將在新埠重啟。如下圖所示:
5. 記憶體堆疊匯出記錄
記錄自動生成 DUMP 檔案記錄。
包括匯出的匯出內容、開始時間、時長、是否成功、如果失敗,失敗的原因等。如下圖所示:
注:僅讀取最近一個月的當機處理記錄。
6. 伺服器重啟記錄
記錄伺服器重啟的記錄。
包括重啟的開始時間、時長、是否成功、如果失敗,失敗的原因等。如下圖所示:
注:僅讀取最近一個月的當機處理記錄。