运维系列&AI系列&Lenovo-G双系统系列（前传-装之前搜索的）：解决Nvidia-smi没有进程但是显存不释放的问题

解决Nvidia-smi没有进程但是显存不释放的问题

• 解决Nvidia-smi没有进程但是显存不释放的问题
• • 底下的评论
  • • 问题一：
    • 问题二：
    • • 作者回答
      • 作者回答
    • 问题三：
    • • 作者回答

---

解决Nvidia-smi没有进程但是显存不释放的问题

**

Nvidia显存占用问题
**
程序已停掉，但是GPU显存无法释放，我们在使用PyTorch写程序的时候,　有时候会在控制台终止掉正在运行的程序，但是有时候程序已经结束了，nvidia-smi 也看到没有程序了，但是GPU的内存并没有释放，这是怎么回事呢？

这是因为使用PyTorch设置多线程进行数据读取，其实是假的多线程，他是开了N个子进程（PID都连着）进行模拟多线程工作，所以你的程序跑完或者中途kill掉主进程的话，子进程的GPU显存并不会被释放，需要手动一个一个kill才行，具体方法描述如下：

使用以下命令发现僵尸进程：

fuser -v /dev/nvidia*

然后使用 kill -9 pid 杀死僵尸进程，当僵尸进程比较多时，上述命令重复输入显得非常繁琐，使用下属命令一句话杀死所有进程：

fuser -v /dev/nvidia* |awk ‘{for(i=1;i<=NF;i++)print "kill -9 " $i;}’ | sh

fuser -v /dev/nvidia* |awk '{for(i=1;i<=NF;i++)print "kill -9 " $i;}' |  sh

如果需要权限，命令更改如下：

sudo fuser -v /dev/nvidia* |awk ‘{for(i=1;i<=NF;i++)print "kill -9 " $i;}’ | sh

sudo fuser -v /dev/nvidia* |awk '{for(i=1;i<=NF;i++)print "kill -9 " $i;}' |  sh

再次输入 nvidia-smi 发现内存释放：

底下的评论

问题一：

报错说括号那里语法不对，我直接reboot了

问题二：

句子里有个单引号写成中文单引号了

作者回答

感谢提醒，我看了一遍，没啥问题呀！可能是平台的问题……

作者回答

做了相应调整

问题三：

如果只想释放某个编号的卡怎么办？ 比如只释放第二张卡的显存，而不释放0,1,3 （假设机器有4张卡）

作者回答

nvidia*改为显卡的名字试试？具体名称还要看你的电脑……

---

打拳的土豆

解决Nvidia-smi没有进程但是显存不释放的问题