摘要: 又到月底了,在月初推荐论文的基础上又整理了10篇推荐阅读的论文 1、MosaicBERT https://mosaicbert.github.io/ 一种用于快速预训练的双向编码器。MosaicBERT是针对快速预训练优化的自定义BERT架构。主要架构修改:FlashAttention, ALiBi 阅读全文
posted @ 2024-01-28 10:42 deephub 阅读(26) 评论(0) 推荐(0) 编辑