implict GEMM

0x00 base of im2col

https://zhuanlan.zhihu.com/p/491307328

0x01 base of implict GEMM

https://zhuanlan.zhihu.com/p/372973726

so far, 0x00重点看im2col, 0x01重点看implict GEMM实现。理解$ 为什么称为implict GEMM^{1} $

0x02 implict batched GEMM

https://zhuanlan.zhihu.com/p/491307328

so far, 已经了解了im2col和implict GEMM, batched implict GEMM, batched implict GEMV的概念

0x03

接下来可以看GEMM基本概念和CUTLASS的实现原理。以了解他针对GEMM做了什么

---

[1] 因为在物理上，数据并没有被im2col转为冗余存储的格式，冗余格式只是逻辑上的。物理上仍然保持了tensor的原本存储格式，但我们通过im2col构建了逻辑上的wwa计算逻辑，可以写出一个wwa的计算代码，indexing完成了逻辑上wwa转换到物理上是conv tensor的