科普帖:深度学习中GPU和显存分析

时间:2024-11-17 14:35:13

知乎的一篇文章:

https://zhuanlan.zhihu.com/p/31558973

关于如何使用nvidia-smi查看显存与GPU使用情况,参考如下链接:

https://blog.****.net/Mr_HHH/article/details/80083803

其中在知乎的那篇文章中,有一处,我认为有错:

科普帖:深度学习中GPU和显存分析

应为:

先乘后加算一次MACC(multipy-accumulate operation),有的也叫MADD。

每一次乘算一次flop,每一次加算一次flop。

其中flop大约是MACC的两倍!!!