nvidia-smi show ERR! 问题修复
服务器使用过程中遇到了一个问题,nvidia-smi 显示有两张卡全部状态域为 ERR!
,且对应显存占用很低。
nvidia-smi 官网显示了两个案例。
第一个案例,除了状态显示为ERR!
,对应显存占用也很高。
https://forums.developer.nvidia.com/t/nvidia-smi-showing-err-in-all-fields-for-one-of-the-gpus-a40/210862
判断是显卡烧坏,需要更换显卡硬件。
第二案例,与本问题类似。状态显示ERR!
且显存占用低。
https://forums.developer.nvidia.com/t/nvidia-smi-shows-err-in-all-fields/220045
判断是显卡相关驱动配置出现问题。
综合判断,属于问题2,本问题是由部分用户配置驱动异常导致。解决方法为重装显卡驱动。
参考:
- https://askubuntu.com/questions/206283/how-can-i-uninstall-a-nvidia-driver-completely?answertab=scoredesc#tab-top
- https://linuxconfig.org/how-to-uninstall-the-nvidia-drivers-on-ubuntu-20-04-focal-fossa-linux
主要参考2,解决步骤如下:
sudo dpkg -P $(dpkg -l | grep nvidia-driver | awk '{print $2}')
sudo apt autoremove
reboot
随后重装显卡驱动,参考: https://www.cnblogs.com/lif323/p/17014199.html