2024年1月的论文推荐

又到月底了，在月初推荐论文的基础上又整理了10篇推荐阅读的论文

1、MosaicBERT

https://mosaicbert.github.io/

一种用于快速预训练的双向编码器。MosaicBERT是针对快速预训练优化的自定义BERT架构。主要架构修改:FlashAttention, ALiBi，门控线性单元和低精度的LayerNorm。

 

https://avoid.overfit.cn/post/596699031b604a53b42293212dc738ee