限制GPU功率和清理

在跑Caffe、TensorFlow、pytorch之类的需要CUDA的程序时，强行Kill掉进程后发现显存仍然占用，这时候可以使用如下命令查看到top或者ps中看不到的进程，之后再kill掉：

fuser -v /dev/nvidia*
1
接着杀掉显示出的进程（有多个）：

kill -9 12345
kill -9 12345m
1
2
批量清理显卡中残留进程：

sudo fuser -v /dev/nvidia* |awk '{for(i=1;i<=NF;i++)print "kill -9 " $i;}' | sudo sh
1
清理指定GPU显卡中残留进程，如GPU 2：

sudo fuser -v /dev/nvidia2 |awk '{for(i=1;i<=NF;i++)print "kill -9 " $i;}' | sudo sh
————————————————
版权声明：本文为CSDN博主「mingo_敏」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/shanglianlm/article/details/85052773

限制GPU功率

enable persistence mode

sudo nvidia-smi -pm 1

limite power from 350W to 250W

sudo nvidia-smi -i 0,1,...,3 -pl 250