1. 概述编辑
1.1 版本
| 运维平台版本 | 功能变更 |
|---|---|
| V1.0 | - |
| V2.0 | 仪表板显示内容优化，强化对各个数据的解释，方便用户理解 |
1.2 功能简介
运维平台提供「主仪表板、服务器监控、外接数据库监控、Redis监控、Nginx监控和应用监控」六个仪表板。
1.3 操作说明
仪表板中的操作按钮，目前仅支持查询，不会保存记忆上次的查询项。仅建议使用以下两个按钮，其他的操作按钮不建议使用。
| 按钮 | 说明 |
|---|---|
 | 左侧下拉框是用于选择监控仪表板的时间范围 右侧按钮用于快捷扩大查询时间范围 |
 | 左侧按钮用于刷新数据 右侧下拉框用于配置自动刷新频率 |
| V2.0及之后版本支持在运维平台绑定多个应用 因此在仪表板 |
2. 主仪表板编辑
主仪表板用于关注应用的全局状态情况概览，包括了各组件与应用的连通性，应用整体的运行状况，使用情况等。
同时也提供应用的历史运行信息，核心用于关注整个应用的可用状态，如果是应用集群，将汇总展示各个节点的状态。
管理员登录「运维平台」，点击「监控仪表板」，即可查看主仪表板。
仪表板指标具体说明如下表所示：
| 指标 | 具体说明 |
|---|---|
| 当前系统在线用户数 | 当前应用系统的在线用户人数 |
| 外接数据库连接状态 | 应用与外接数据库的连接状态，结果可能为：连通、断开、未设置（未使用外接）和部分节点异常（集群） |
| 文件服务器连接状态 | 应用与文件服务器的连接状态，结果可能为：连通、断开、未设置（未使用文件服务器）和部分节点异常（集群） |
| 状态服务器连接状态 | 应用与状态服务器的连接状态，结果可能为：连通、断开、未设置（未使用状态服务器）和部分节点异常（集群） |
| 最大文件打开数/应用文件打开数 | 启动应用的用户会有最大文件打开数的限制，当前应用文件打开数接近最大文件打开数时，可能会导致后续的访问出现报错，需要修改启动用户的最大文件打开数限制（集群时会根据节点情况显示多个值） |
| 各应用目录磁盘使用情况 | 展示应用相关的root目录、工程目录、备份目录、temp目录、schedule目录和logs目录所在的磁盘空间使用率情况，当使用率超过80%时会飙红显示，可用磁盘空间不足可能会影响应用的正常运行甚至宕机，需要尽快进行磁盘清理或扩容 |
| JVM负载 | JVM的负载变化情况，负载是帆软根据gc信息计算得出的应用压力量化方式，相比内存能够更真实的反映应用的压力情况，负载过高说明应用压力大 |
| JVM内存使用率 | JVM的内存使用率变化情况，反映应用的客观内存占用情况，可能包含可被gc回收的内存占用 |
| JVMCPU使用率 | JVM的CPU使用率变化情况，反映应用的CPU占用情况 |
| 应用进程实际占用物理内存 | 应用进程实际占用系统物理内存的情况 |
| GC次数 | 随时间的gc次数变化情况，gc次数越多通常gc负荷越大 |
| GC时间 | 应用每秒花在gc上的时间变化情况，反应gc的负荷和应用的吞吐量，gc时间越长，应用吞吐量越小 |
| 系统运行时长 | 帆软系统持续运行的时长（即距离上次启动的时间，如果是集群将会显示多个节点的不同值） |
| 上次宕机时间 | 上次帆软系统宕机的时间（如果是集群则为上次单节点宕机的时间） |
| 近一个月的宕机记录 | 帆软系统进近一个月的宕机记录，用于回溯历史异常情况考虑 |
| 近一个月的高风险开顿 | 近一个月帆软系统的高负载高风险（负载分大于100分/120）次数记录 |
5.2 服务器监控
服务器监控仪表板主要用于监控帆软应用及相关组件运行的服务器的状态，方便及时关注服务器的各项指标情况，避免影响应用的正常运行，可通过instance选择对应的服务器指标数据
仪表板指标具体说明如下表所示：
| 指标 | 具体说明 |
|---|---|
| CPU使用率及配置信息 | 显示CPU性能情况和当前的CPU使用率，如CPU使用率过高说明计算压力较大，需要提升CPU性能或排查具体计算任务 |
| 内存使用率及内存信息 | 显示当前内存使用率、总物理内存和已用内存，如内存过高可能会导致宕机，需要加大物理内存或中止部分占用内存较多的进程 |
| 根目录磁盘使用率及磁盘信息 | 显示当前根目录的磁盘使用率、磁盘总量和磁盘使用量，如磁盘使用率过高可能导致宕机或使用异常，需要加大磁盘空间或进行磁盘清理 |
| 系统信息 | 展示系统的版本、以及各项环境信息，便于运维人员确定环境信息并排查问题 |
| 根目录磁盘每秒读写速率BPS、根目录磁盘每秒读写请求数量IOPS | 根目录磁盘的每秒读取/写入速率BPS和根目录磁盘每秒读取/写人请求数量IOPS，反映了磁盘读写性能消耗情况 |
| CPU等待磁盘IO完成时间的百分比 | 展示一段时间内的CPU等待磁盘IO完成时间的百分比曲线，此项数值较高说明当前系统的磁盘使用率非常高，并且cpu的大部分时间处于等I/O的状态，这个时候，往往说明I/O遇到了瓶颈 |
| 磁盘IO的CPU使用率 | 展示一段时间内被磁盘IO消耗的CPU比率的曲线 |
| inode使用率 | （仅linux）展示服务器一段时间的inode使用率， |
| 当磁盘还未存满，但inode已经分配完时会出现无法在磁盘新建文件的情况 | |
| 最大文件打开数/应用文件打开数 | 启动应用的用户会有最大文件打开数的限制，当前应用文件打开数接近最大文件打开数时，可能会导致后续的访问出现报错，需要修改启动用户的最大文件打开数限制 |
| 网络上行/下行速率 | 展示服务器一段时间内的每秒网络上行/下行速率，用于判断服务器网络的压力情况 |
| TCP连接数 | 各种状态下的TCP连接数包括LISTEN、SYN_SENT、ESTABLISHED、SYN_RECV、FIN_WAIT1、CLOSE_WAIT、FIN_WAIT2、LAST_ACK、TIME_WAIT、CLOSING、CLOSED |
5.3 应用监控
应用监控仪表板用于监控帆软应用的运行情况，不同于主仪表板，应用监控仪表板可以针对单个节点的运行状态的详细数据进行查询。
仪表板指标具体说明如下表所示：
| 指标 | 具体说明 |
|---|---|
| JVM负载 | JVM的负载变化情况，负载是帆软根据gc信息计算得出的应用压力量化方式，相比内存能够更真实的反映应用的压力情况，负载过高说明应用压力大 |
| JVM内存使用率 | JVM的内存使用率变化情况，反映应用的客观内存占用情况，可能包含可被gc回收的内存占用 |
| JVMCPU使用率 | JVM的CPU使用率变化情况，反映应用的CPU占用情况 |
| 应用进程实际占用物理内存 | 应用进程实际占用系统物理内存的情况 |
| 节点会话情况 | 当前存活会话数，以及存活会话、新增会话和关闭会话数的变化曲线，可以用于了解应用的并发峰值情况 |
| 节点GC信息 | 节点的GC时间和GC次数，反应gc的负荷和应用的吞吐量，gc时间越长，应用吞吐量越小 |
| 节点线程死锁情况 | 如果节点出现线程死锁，可能会出现宕机等使用异常，需要关注并排查故障 |
| 用户情况 | 当前在线用户数和在线用户曲线，可以用于判断系统最大在线用户数 |
| 最大文件打开数/应用文件打开数 | 启动应用的用户会有最大文件打开数的限制，当前应用文件打开数接近最大文件打开数时，可能会导致后续的访问出现报错，需要修改启动用户的最大文件打开数限制（集群时会根据节点情况显示多个值） |
| 各应用目录磁盘使用情况 | 展示应用相关的root目录、工程目录、备份目录、temp目录、schedule目录和logs目录所在的磁盘空间使用情况，以及各个目录所在磁盘大小的增长情况，如果剩余空间不足10GB可能会影响应用的正常运行甚至宕机，需要尽快进行磁盘清理或扩容 |
| 应用信息 | 包括启动应用的系统用户、应用版本信息、应用的插件列表以及JVM的参数信息，便于进行问题的排查定位 |
5.4 外接数据库监控
外接数据库监控主要用来监控外接数据库的压力情况，避免因为外接数据库的不稳定而影响帆软系统的正常使用。
仪表板指标具体说明如下表所示：
| 指标 | 具体说明 |
|---|---|
| 数据库存活状况 | 包括mysql是否存活以及mysql的上次启动时间距离当前的市场 |
| 连接数 | 展示mysql的剩余连接数和实例拒绝连接数，如果剩余连接数不足可能会出现应用访问异常 |
| QPS | 展示mysql每秒处理的请求数量，用来判断mysql的压力情况 |
| 正在查询的数量 | 展示mysql正在查询的语句数量，持续增长可能说明mysql超负荷 |
| 慢查询数量 | 展示mysql的慢查询数量，如果慢查询数量持续增长可能影响mysql的性能及可用性，需要关注具体慢查询的情况 |
| 缓冲池 | 展示缓冲池大小、缓冲池利用率和磁盘读取请求次数，内存允许的情况下缓冲池越大性能越好，磁盘读取请求次数持续增长可能出现mysql性能差，磁盘io压力大等问题 |
| 死锁信息 | 展示数据库的死锁信息： ts:检测到死锁的时间戳 thread:产生死锁的线程id，这个id和show processlist里面的线程id是一致的 txn_id:innodb的事务ID txd_time:死锁检查到前，事务执行时间 user:执行transcation的用户名 db:发生死锁的DB名 tbl:死锁发生的表名 idx:产生死锁的索引名(在上面这个demo里面， 我们直接走的主键，加的记录锁) lock_type:锁的类型(记录锁，gap锁，next-key锁) lock_mode:锁模式(S,X) wait_hold:是否等着锁释放，一般死锁都是两个wait victim:该会话是否做了牺牲，终止了执行 query:造成死锁的SQL语句 |
5.5 Redis监控
Redis监控仪表板用于监控帆软系统使用的Redis状态服务器的运行情况。
仪表板指标具体说明如下表所示：
| 指标 | 具体说明 |
|---|---|
| redis是否存活 | redis的存活状态 |
| 运行时长 | redis本次启动后的持续运行时长 |
| Redis信息 | 包括redis的版本，是单机还是集群，集群的节点情况等等，方便快速了解redis的环境信息帮助定位和排查 |
| redis的内存情况 | redis分配的内存和使用情况，通常来说redis内存占用比较小，如果出现内存使用率很高，那么可能存在异常 |
| redis的内存碎片率 | 内存碎片率表示「Redis向操作系统中申请的内存」 与「分配器分配的内存总量」的比值 指数>1表明有内存碎片，越大表明越多，<1表明正在使用虚拟内存，虚拟内存其实就是硬盘，性能比内存低得多，这是应该增强机器的内存以提高性能。 大于1.5表示，系统分配的内存大于Redis实际使用的内存，Redis没有把这部分内存返还给系统，产生了很多内存碎片。在Redis 4.0版以前，只能通过安全重启解决这个问题。Redis 4.0及以上版本可以支持内存自动清理。 小于1表示，系统分配的内存小于Redis实际使用的内存，而Redis很有可能在使用Swap了！使用swap是相当影响性能的。 |
| 客户端连接个数 | 用于查看当前redis的客户端连接个数，默认的客户端连接数最大限制为10000，如果连接数过高，会影响redis吞吐量。>5000 时通常就需要进行告警 |
| redis每秒执行的命令数 | 展示一段时间内redis每秒执行命令数的曲线 |
| 每秒查找数据库键成功/失败的次数 | 展示每秒查找数据库的hit/miss的次数，用于参考根据业务需求调优Redis配置 |
| 过期/未过期数据库键数 | 展示redis中过期/未过期数据库键数，用于参考根据业务需求调优Redis配置 |
5.6 Nginx监控
Nginx监控仪表板用于监控帆软系统使用的Nginx服务器的运行情况，重点关注的是请求情况
仪表板指标具体说明如下表所示：
| 指标 | 具体说明 |
|---|---|
| Nginx是否存活 | Nginx的存活状态 |
| Nginx版本信息 | Nginx的版本信息，便于排查问题 |
| 各种状态的当前客户端连接数 | 展示当前读取、回写和等待中的客户端连接数 |
| 活跃用户连接数 | 展示一段时间内活跃的用户连接数变化的情况 |
| 用户请求总数 | 展示一段时间内的用户请求总数变化情况 |
| 接收到/处理的用户连接数 | 展示一段时间内接收到/处理的用户连接数变化情况 |