会员
周边
捐助
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
deephub
overfit深度学习
博客园
首页
新随笔
联系
订阅
管理
2024年8月3日
模型量化技术综述:揭示大型语言模型压缩的前沿技术
摘要: 大型语言模型(LLMs)通常因为体积过大而无法在消费级硬件上运行。这些模型可能包含数十亿个参数,通常需要配备大量显存的GPU来加速推理过程。 因此越来越多的研究致力于通过改进训练、使用适配器等方法来缩小这些模型的体积。在这一领域中,一个主要的技术被称为量化。 在这篇文章中,我将在语言建模的背景下介绍
阅读全文
posted @ 2024-08-03 12:11 deephub
阅读(73)
评论(0)
推荐(0)
编辑
公告