2023年10月1日
全新注意力算法PagedAttention：LLM吞吐量提高2-4倍，模型越大效果越好
摘要： 前言 吞吐量上不去有可能是内存背锅！无需修改模型架构，减少内存浪费就能提高吞吐量！ 本文转载自新智元 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】CV 阅读全文
posted @ 2023-10-01 16:10 CV技术指南（公众号） 阅读(1438) 评论(0) 推荐(0) 编辑