2024-12-31
创建时间：2024-12-31 15:47 星期二, 距离
2021-11-05 还剩-1152 天
Daily work-12/31
第一次日记模板设置方法：如图
设置之后，再把模板中自己不需要的内容删掉
Notes-12/31
随机复习
距离
2022-01-01 还剩-1095 天，加油！
- https://zhuanlan.zhihu.com/p/138668785 - 知乎专栏
- （一） CPU的浮点计算性能公式 我们常用双精度浮点运算能力衡量一个处理器的科学计算的能力，就是处理64bit小数点浮动数据的能力 intel的最新cpu支持高级矢量指令集AVX2、AVX512， 其中AVX2的处理器的单指令的长度…
- 2023-05-31 10:58:07
（一） CPU的浮点计算性能公式
我们常用双精度浮点运算能力衡量一个处理器的科学计算的能力，就是处理64bit小数点浮动数据的能力
intel的最新cpu支持高级矢量指令集AVX2、AVX512， 其中AVX2的处理器的单指令的长度是256bit，每颗intelCPU包含2个FMA，一个FMA一个时钟周期可以进行2次乘或者加的运算，那么这个处理器在1个核心1个时钟周期可以执行256bit * *2FMA ** 2M/A/64=16次浮点运算，也称为16FLOPs，就是Floating Point Operations Per Second；
支持AVX512的处理器的单指令的长度是512Bit，每个intel核心假设包含2个FMA，一个FMA一个时钟周期可以进行2次乘或者加的运算，那么这个处理器在1个核心1个时钟周期可以执行512bit2FMA 2MA / 64=32次浮点运算，也称为32FLOPs，
就是说理论上后者的运算能力其实是前者的一倍，但是实际中不可能达到，因为进行更长的指令运算，流水线之间更加密集，但核心频率会降低；导致整个处理器的能力降低；
一个处理器的计算能力和核心的个数，核心的频率，核心单时钟周期的能力三个因素有关系
例如：现在intel purley platform的旗舰skylake 8180是28Core@2.5GHZ，支持AVX512，其理论双精度浮点性能是：**28Core2.5GHZ32FLOPs/Cycle=2240GFLPs=2.24TFLOPs**
例如：现在intel purley platform的旗舰cascade lake Xeon Platinum 8280是28核@2.7GHZ，支持AVX512，其理论双精度浮点性能是：**28Core*2.7GHZ*32FLOPs/Cycle=2419.2GFLPs=2.4192TFLOPs**
但是还是要注意并不是所有的处理器都有支持AVX512的指令集，也并不是每个支持处理器都有2个FMA的运算单元。（二） GPU的浮点性能计算公式
GPU能做的CPU都能做，CPU能做的GPU却不一定能够做到，GPU一般一个时钟周期可以操作64bit的数据，1个核心实现1个FMA。
这个GPU的计算能力的单元是：64bit1FMA2M/A/64bit=2FLOPs/Cycle
GPU的计算能力也是一样和核心个数，核心频率，核心单时钟周期能力三个因素有关。
但是架不住GPU的核心的数量多呀
例如：对现在nvidia 的pascal架构超算卡--- Tesla P100，是1792核@1.328GHz,其理论的双精度浮点性能是：**1792Core1.328GHZ2FLOPs/Cycle=4759.552GFLOPs=4.7TFLOPs**
例如：对现在nvidia 的Volta架构的超算卡---Tesla V100，是2560核@1.245GHz，其理论的双精度浮点性能是：2560Core*1.245GHZ*2FLOPs/Cycle=6374.4GFLOPs=6.3TFLOPs现在ML繁荣的时代，对64bit长度的浮点运算需求不是那么的大，反而是32bit或者16bit、8bit INT、4bit INT的运算需求比较大。
因此nvidia 最新的tesla一直在强调单精度甚至半精度，turing就是这样的。
intel为了加速这些计算，也在其处理器中实现了一些加速低精度运算的指令。
