nvidia-smi GPU异常消失 程序中断

时间:2021-02-06 05:53:56

GPU型号为NVIDIA的1080Ti,最近出现的状况的是某一个GPU突然就出问题了,如果在该GPU上有运行程序的话则程序中断,nvidia-smi显示出来的GPU则少了这一个。

1、一开始怀疑是温度问题,温度过高导致自动关闭。

2、最好的方法是先看一下nvidia-bug-report,管理员输入sudo nvidia-bug-report.sh

参考:https://devtalk.nvidia.com/default/topic/522835/linux/if-you-have-a-problem-please-read-this-first/

该命令会在本地生成一个nvidia-bug-report.log.gz,然后使用gunzip nvidia-bug-report.log.gz可解压缩得到nvidia-bug-report.log

打开nvidia-bug-report.log,其中记录了很多gpu的运行信息,尤其是 /var/log/dmesg的信息,占据了该log文件的大部分,记录了从开机到生成report文件时GPU的所有运行情况。

nvidia-smi GPU异常消失 程序中断

包括详细时间,用户等(由于该文件是从ubuntu复制过来打开的,编码问题导致乱码,修改一下编码方式就不会了,这里看得懂就好)

nvidia-smi GPU异常消失 程序中断

然后就可以定位到问题了

nvidia-smi GPU异常消失 程序中断

另外,nvidia-smi -a可以获取GPU的详细信息,也可以确定消失的GPU的id号就是0000:09:00。

未完待续~~~~