LayerNorm层参数量计算

• 有$\text{gemma}$和$\beta$等两个参数
• 三个地方用到了LayerNorm层
  • Embedding层后
    • $768\ast 2$
  • Multi-Head Attention后
    • $(768\ast 2)\ast 12$
  • Feed-Forward后
    • $(768\ast 2)\ast 12$

故，12层LayerNorm层参数为:$768\ast 2+(768\ast 2)\ast 12+(768\ast 2)\ast 12=768\ast 2+12\ast (768\ast 2)=38,400=37.5KB$

$$1KB=1024Bit(\mathrm{字}\mathrm{节})$$