2024年1月的论文推荐

又到月底了,在月初推荐论文的基础上又整理了10篇推荐阅读的论文

1、MosaicBERT

https://mosaicbert.github.io/

一种用于快速预训练的双向编码器。MosaicBERT是针对快速预训练优化的自定义BERT架构。主要架构修改:FlashAttention, ALiBi,门控线性单元和低精度的LayerNorm。

 

https://avoid.overfit.cn/post/596699031b604a53b42293212dc738ee

posted @   deephub  阅读(41)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· 没有源码,如何修改代码逻辑?
· PowerShell开发游戏 · 打蜜蜂
· 在鹅厂做java开发是什么体验
· WPF到Web的无缝过渡:英雄联盟客户端的OpenSilver迁移实战
历史上的今天:
2023-01-28 使用OpenAI的Whisper 模型进行语音识别
2022-01-28 图卷积和消息传递理论的可视化详解
点击右上角即可分享
微信分享提示