Linux服务器瞬时负载居高问题小记

有史以来负载突然居高的，有点吓人。

如图示：

PS: vmstat(Virtual Memory Statistics 虚拟内存统计) 命令用来显示Linux系统虚拟内存状态，也可以报告关于进程、内存、I/O等系统整体运行状态

发现奇葩的的--r值：这个高！！！

PS：

r: 运行队列中进程数量，这个值也可以判断是否需要增加CPU。（长期大于1）

正常的情况下的r值是：

可能有异常的情况很多的进程一直在创建

因为公司的业务又使用的一些定时的任务，定时执行一些服务。所有核查一下一些进程信息：

果然是这一推的进程在作祟！！！！！

直接结束上述的相关进程后，就好了！！

批量删除对应的进程：

批量删除示例：

说明：

“grep xxxx”的输出结果是，所有含有关键字“remind_service”的进程。

“grep -v xxxxx”是在列出的进程中去除含有关键字“color”的进程。

“cut -c 9-15”是截取输入行的第9个字符到第15个字符，而这正好是进程号PID。

“xargs kill -s 9”中的xargs命令是用来把前面命令的输出结果（PID）作为“kill -s 9”命令的参数，并执行该命令。“kill -s 9”会强行杀掉指定进程。

排查了下，不知道为啥定时执行的任务不断执行创建了！这个目前暂时还不是很清楚！

Linux服务器上出现CPU负载达到100%居高不下的情况,如果CPU 持续跑高,则会影响业务系统的正常运行CPU利用率。根据经验来看,用户空间进程占用CPU比例在 65-70%。一般不能超过这个比例，超过这个比例，系统性能就会降低，平均负载升高，这点将会在下面的测试中看到。

进程上下文切换。上下文切换和CPU利用率应该联系起来，如果CPU利用率低，那么上下文切换稍高点也能接受。上下文切换也是需要消耗CPU资源的，频繁的切换必将使得CPU利用率升高。

运行队列中等待运行的进程数。每个CPU核心中等待处理的进程数不应该超过3个线程/进程。如4核心的机器，那么队列的最大值应该不超过12个。

对于CPU过载问题通常使用以下两种方式即可快速定位（不能涵盖所有特殊情况，请作为其中的参考排查思路）：

一、排查分析

方法一（针对JAVA应用）：

第一步：使用

top命令，然后按shift+p按照CPU排序

找到占用CPU过高的进程的pid

第二步：使用

top -H -p [进程id]

找到进程中消耗资源最高的线程的id

第三步：使用

echo 'obase=16[线程id]' | bc或者printf "%x\n" [线程id]

将线程id转换为16进制（字母要小写）

bc是linux的计算器命令

第四步（此步骤可以和相对应的java开发进行一起排查）：执行

jstack [进程id] |grep -A 10 [线程id的16进制]”

查看线程状态信息

二、kswapd0 进程占用 CPU 较高

*** 作系统都用分页机制来管理物理内存， *** 作系统将磁盘的一部分划出来作为虚拟内存，由于内存的速度要比磁盘快得多，所以 *** 作系统要按照某种换页机制将不需要的页面换到磁盘中，将需要的页面调到内存中，由于内存持续不足，这个换页动作持续进行，kswapd0 是虚拟内存管理中负责换页的，当服务器内存不足的时候 kswapd0 会执行换页 *** 作，这个换页 *** 作是十分消耗主机 CPU 资源的。如果通过 top 发现该进程持续处于非睡眠状态，且运行时间较长，可以初步判定系统在持续的进行换页 *** 作，可以将问题转向内存不足的原因来排查。

    服务器出现由内存问题引发的故障，例如系统内部服务响应速度变慢、服务器登录不上、系统触发 OOM（Out Of Memory）等。通常情况下当实例内存使用率持续高于90%时，可判断为实例内存使用率过高。CPU/内存使用率过高的问题原因可能由硬件因素、系统进程、业务进程或者木马病毒等因素导致。     笔者以前写过一篇文章- Linux 下的 60 秒分析的检查清单 ，适用于 任何性能问题 的分析工作，这一篇文章是关于CPU/内存使用率的具体的排查思路总结。     执行 top 命令后按  M ，根据驻留内存大小进行排序，查看 “RES” 及 “SHR” 列是否有进程占用内存过高。按 P，以 CPU 占用率大小的顺序排列进程列表，查看是否有进程占用cpu过高。     如果有异常进程占用了大量 CPU 或内存资源，记录需要终止的进程 PID，输入k，再输入需要终止进程的 PID ，按 Enter。     另外说明一下，top 运行中可以通过 top 的内部命令对进程的显示方式进行控制，最常用的是M和P。     CPU 空闲但高负载情况，Load average 是 CPU 负载的评估，其值越高，说明其任务队列越长，处于等待执行的任务越多。执行ps -axjf命令，查看进程状态，并检查是否存在 D 状态进程。D 状态指不可中断的睡眠状态，该状态进程无法被杀死，也无法自行退出。若出现较多 D 状态进程，可通过恢复该进程依赖资源或重启系统进行解决。     Linux 系统通过分页机制管理内存的同时，将磁盘的一部分划出来作为虚拟内存。而 kswapd0 是 Linux 系统虚拟内存管理中负责换页的进程。当系统内存不足时，kswapd0 会频繁的进行换页 *** 作。换页 *** 作非常消耗 CPU 资源，导致该进程持续占用高 CPU 资源。     执行top命令，找到 kswapd0 进程。观察 kswapd0 进程状态，若持续处于非睡眠状态，且运行时间较长并持续占用较高 CPU 资源，执行 vmstat ，free，ps 等指令，查询系统内进程的内存占用情况，重启系统或终止不需要且安全的进程。如果 si，so 的值也比较高，则表示系统存在频繁的换页 *** 作，当前系统的物理内存已经不能满足您的需要。  si  表示每秒从交换区写入内存的大小(单位:kb/s) ， so  每秒从内存写到交换区的大小。     执行cat/proc/meminfo |grep-i shmem命令查看共享内存。         buddy可以以页为单位获取连续的物理内存了，即4K为单位。slab负责需要频繁的获取/释放并不大的连续物理内存，比如几十字节。执行cat /proc/meminfo | grep -i SUnreclaim命令查看slab 内存。         标准的 4KB 大小的页面外，内存大页管理内存中的巨大的页面，处理较少的页面映射表，从而减少访问/维护它们的开销。执行cat /proc/meminfo | grep -iE "HugePages_Total|Hugepagesize" 查看内存大页。 内存使用率计算：  (Total - available)100% / Total （Total - Free - Buffers - Cached - SReclaimable + Shmem）* 100% / Total   cat /proc/meminfo查看信息含义：

---