linux服务器实时监控GPU 显存和算力

设置每 0.01s 显示一次显存的情况： watch -n 0.01 nvidia-smi 

建议设置每0.1s 或者0.01s显示一次显存的情况，不建议设置每1s 显示一次显存的情况，因为会错过一些显存峰值，特别是在debug的时候。

在遇到cuda：out of memery报错时，可以通过逐行（或逐段）debug运行，查看是代码的哪个部分占用内存过大。