2022年2月8日
RealFormer: 残差式 Attention 层的Transformer 模型
摘要： ©原创作者 | 疯狂的Max 01 背景及动机 Transformer是目前NLP预训练模型的基础模型框架，对Transformer模型结构的改进是当前NLP领域主流的研究方向。 Transformer模型结构中每层都包含着残差结构，而残差结构中最原始的结构设计是Post-LN结构，即把Layer 阅读全文
posted @ 2022-02-08 12:02 NLP论文解读 阅读(544) 评论(0) 推荐(0) 编辑