Linux定位服务器CPU负载100%居高不下的问题

时间:2024-05-19 22:36:39

最近,Linux服务器上总是经常会出现几个CPU利用率达到100%并且一直高居不下,如下图所示,再Linux上,输入 top 命令,然后再按一下 1,就会显示你服务器逻辑CPU的数量以及现在服务器CPU各个参数,这些参数的详细信息我这里就不再多讲了,从下面的图中可以看出,有四个CPU的使用率达到了100%,很明显的,程序有问题

  Linux定位服务器CPU负载100%居高不下的问题

明显的,从 top 命令很轻易的可以看出,占据CPU不放的是Java进程,该进程的PID是19825

  Linux定位服务器CPU负载100%居高不下的问题

命令查看这个进程下面的所有线程占用情况ps mp pid -o THREAD,tid ,也可以通过 top -H -p pid 找到导致cpu高的线程 

  Linux定位服务器CPU负载100%居高不下的问题

  Linux定位服务器CPU负载100%居高不下的问题

这两个命令查找的结果是一样的,都找到了这四个导致CPU居高不下的PID,1482,27308,28575,和4466而后,使用JVM自带的jstack命令导出当前所有线程的运行情况和线程当前状态,jstack工具可以用来获得core文件的java stack和native stack的信息,从而可以轻松地知道java程序是如何崩溃和在程序何处发生问题,jstack 19825 > error.log

可以把该文件下载到本地或者直接在Linux上分析,首先,需要把刚才的四个PID 1482,27308,28575,和4466分别转换为16进制,在Window上可以使用计算器转换,在Linux上一般预装Python,可以命令行键入 Python,然后 print hex(num)直接转换为16进制:

Linux定位服务器CPU负载100%居高不下的问题

通过该16进制可以在上面导出的JVM信息中方便的定位到该线程的位置:

Linux定位服务器CPU负载100%居高不下的问题

从导出的JVM日志文件中分别找到了4个PID对应的线程位置,发现四个线程的状态都处于RUNNABLE下,RUNNABLE表示该线程正在执行,但这里明显是无法停止,我又重新导了几次JVM的状态日志,发现这4个线程总是处于RUNNABLE状态下。

从上图Java的调用关系看,也可以从 com.sun.jna.Function.invoke()方法看出,该线程使用JNA调用了本地的DLL类库出现了问题,该DLL是第三方库,所以要从该DLL入手。