科普帖:深度学习中GPU和显存分析
知乎的一篇文章:
https://zhuanlan.zhihu.com/p/31558973
关于如何使用nvidia-smi查看显存与GPU使用情况,参考如下链接:
https://blog.csdn.net/Mr_HHH/article/details/80083803
其中在知乎的那篇文章中,有一处,我认为有错:
应为:
先乘后加算一次MACC(multipy-accumulate operation),有的也叫MADD。
每一次乘算一次flop,每一次加算一次flop。
其中flop大约是MACC的两倍!!!