科普帖:深度学习中GPU和显存分析

知乎的一篇文章:

https://zhuanlan.zhihu.com/p/31558973

关于如何使用nvidia-smi查看显存与GPU使用情况,参考如下链接:

https://blog.csdn.net/Mr_HHH/article/details/80083803

其中在知乎的那篇文章中,有一处,我认为有错:

应为:

先乘后加算一次MACC(multipy-accumulate operation),有的也叫MADD。

每一次乘算一次flop,每一次加算一次flop。

其中flop大约是MACC的两倍!!!

posted @ 2019-10-06 14:54  珠峰上吹泡泡  阅读(737)  评论(0编辑  收藏  举报