BI宕机问题排查步骤

  • 文档创建者:doreen0813
  • 编辑次数:17次
  • 最近更新:帆软panda 于 2020-11-09
  • 1. 概述

    1.1 问题现象

    用户在使用 BI 时,可能会出现宕机而导致无法使用的情况。

    1.2 宕机处理流程

    1594113879771195.png

    2. 查看进程

    这里以 Tomcat 为例。

    2.1 方法一

    使用 jps -l 命令,如下图所示:

    1588916841360977.png

    注:Tomcat 直接部署的进程名为Bootstrap ,安装包部署的进程名为UnixLauncher

    2.2 方法二

    在命令行输入ps -ef|grep tomcat,如下图所示:

    6.png

    3. 进程消失

    3.1 重启 BI 服务器

    若服务器进程消失,需要重启 BI 服务器,详情参见:FineBI安装与启动

    3.2 查看系统的 OOM Killer

    通常多应用集中部署在一台机器上,Linux 系统在内存不足等条件下会主动干预进程(OOM Killer)。这个机制会在内存不足的时候 kill 掉任何不受保护的进程,从而释放内存。

    执行下面三个命令,

    egrep -i 'killed process' /var/log/messages

    egrep -i 'killed process' /var/log/dmesg

    egrep -i -r 'killed process' /var/log

    如果出现此类内容"Out of memory: Kill process 31201 (java) score 783 or sacrifice child,则可以判断发生了 OOM Killer,但是还需要通过内存占用和时间来确认与消失的BI进程是否吻合。

    3.3 查看是否有崩溃文件 hs_err_

    检查当前用户目录(cwd)是否有 hs_err_$pid.log 文件,大多数时候在 %Tomcat%/bin 目录下。

    3.4 以上文件和内容都没有

    没有 hs_err_ 崩溃文件,没有 OOM Killer 。

    1)确认进程是否在后台运行,若进程不是后台进程,终端退出或连接超时导致进程消失。

    2)如果终端是 Xshell 连接,选择文件>默认会话属性,确认配置去掉勾选☑️,如下图所示:

    1588918956291934.png

    4. 进程存在

    4.1 访问无响应

    4.1.1 查看是否为内存溢出 OOM

    内存溢出的导致无响应的主要原因,是 JVM 的内存全部耗光,但是依然需要进一步分配内存。此时 JVM 就会进行很多次的的Full GC,希望回收不使用的内存。但是由于数据都在使用,因此一直释放不掉内存,于是就一遍遍的进行Full GC。

    判断方法如下:

    1)利用 top 命令发现进程的 CPU 使用率非常高。

    2)CPU高并不一定是在做 Full GC,需要进一步确认。做 FullGC 不代表是OOM,只有持续不断在 Full GC 的情况是 OOM 。输入jstat -gc pid 2000 2000 命令,如下图所示:

    406.png

    关注 FGC 一栏,如果数值增加很快,而且 FGCT(Full GC 的总时间)数值很大,例如 FGC 为20 FGCT已经 2000 以上,平均一次 FGC 耗时 100s ,可以确定是内存溢出了导致的宕机,需要获取 dump 。

    4.1.2 造成内存溢出的原因排查及对应方案

    • Logger占用内存过高
      若安装了平台日志导出插件,则禁用该插件。

    • 更新任务占用内存过高
      更新任务默认尽可能的占用资源来提升更新性能。

    • 堆外内存 OOM
      图表 J2V8 线程 OOM
      在图表组件分组超过 5000 时,绘图逻辑会在后端处理,此时图表 J2V8 计算使用的是堆外内存,在触发OOM时 JVM 会崩溃并生成 hs 文件,进入%FineBI%bin 路径下即可看到该文件。

      4.1.3 内存溢出-获取 dump 文件

      • 方法一:配置 dump 参数

      需要在安装BI后进行参数配置。

      1)Linux 系统

      打开%Tomcat_HOME%/bin/catalina.sh文件,加上:JAVA_OPTS="$JAVA_OPTS -server -XX:+HeapDumpOnOutOfMemoryError",如下图所示:

      4.png

      注:其中不设-XX:HeapDumpPath时,dump 的文件在%Tomcat_HOME%/bin目录下。

      2)Windows 系统

      打开%Tomcat_HOME%/bin/catalina.bat文件,加上:set JAVA_OPTS=%JAVA_OPTS% -server -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=D:\heapdump,如下图所示:

      6.gif

      • 方法二:

      若没有配置 dump 参数,则需要手动获取 dump 文件,执行jmap -dump:format=b,live,file=路径   进程pid,例如获取 22374 进程的 dump 文件,如下代码所示:

      jmap -dump:format=b,live,file=22374.hprof 22374

      4.1.4 不是内存溢出 OMM -打堆栈

      若用户环境有 JDK :

      1)查出进程

      Linux 环境 ,执行命令:ps -ef|grep tomcat

      Windows 环境:查看任务管理器,可以查到 FineBI 的进程(pid)

      Win7 可用 dos 窗口,命令类似:netstat  -aon|findstr  "37799"

      2)打堆栈,一般每隔 3 秒打一个,打三至四个,如下所示:

      jstack  pid > a1.txt
      jstack  pid > a2.txt
      jstack  pid > a3.txt

      若用户环境未安装 JDK :

      jstack 命令是依赖 JDK 的,但是客户没安装 JDK ,客户环境也不太方便安装 JDK 的时候,进行如下操作:

      1)将自己电脑本地的 JDK 拷贝到用户工程上。

      2)解压到磁盘目录,最好是根目录。

      3)此时利用命令行执行到 bin 目录。

      4)然后打 jstack 即可。

      注:如果无法正常执行,可配置环境变量。

      4.2 页面部分功能无响应

      4.2.1 单机环境-打堆栈

      操作步骤参见 4.1.4 节。

      4.2.2 集群环境

      Web 集群环境每个节点都要生成 jstack 文件,操作步骤参见 4.1.4 节。

      4.3 重启 BI 服务器

      4.3.1 结束 BI 进程

      详情参见:关闭FineBI

      4.3.2 启动 BI 服务器

      详情参见:FineBI 安装与启动

      附件列表


      主题: 性能优化
      • 有帮助
      • 没帮助
      • 只是浏览
      • 评价文档,奖励 1 ~ 100 随机 F 豆!