【论文解读】大模型算法发展
摘要：
一、简要介绍 论文研究了自深度学习出现以来，预训练语言模型的算法的改进速度。使用Wikitext和Penn Treebank上超过200个语言模型评估的数据集(2012-2023年)，论文发现达到设定性能阈值所需的计算大约每8个月减半一次，95%置信区间约为5到14个月，大大快于摩尔定律下的硬件增益 阅读全文
posted @ 2024-07-23 15:48 合合技术团队 阅读(48) 评论(0) 推荐(0) 编辑