2024年10月29日
激活函数和GLU
摘要： LLaMA系列用的FFN层现在是SwishGLU，这里Swish是个激活函数，GLU是个线性单元，二者合起来是SwishGLU。 FFN Transformer中原始的FFN长这样： \[FFN(x) = ReLU(xW_1+b_1)W_2+b_2 \]两个线性层中间夹了个relu激活函数 写成模型 阅读全文
posted @ 2024-10-29 15:51 王冰冰 阅读(48) 评论(0) 推荐(0) 编辑