前馈网络(Feed Forword)的参数量计算

Feed Forward(前馈网络)参数量计算

• 主要由2个全连接层组成，论文中全连接层的公式如下:

$$FFN(X)=max(0,xW1+b1)W2+b2$$

• 其中用到的两个参数W1和W2，已知$BER{T}_{BASE}\mathrm{的}\mathrm{设}\mathrm{置}\mathrm{为}{d}_{model}=768$，BERT沿用了惯用的全连接层大小设置，即$4\ast d_{model}=3072$，因此$W_1(768,3072)\mathrm{与}{W}_2(3072,768)$
• 故12层的全连接层参数为$12\ast (2\ast 768\ast 3072)=56,623,104$

---