摘要: 1. KV 缓存是什么? KV 缓存(KV Cache)是一种优化大语言模型(LLM, Large Language Models)推理速度的关键技术。最近爆火的DeepSeek,其首创的MLA技术,使得KV Cache降低了93%,在大语言模型的训练和推理上有效降低了对高性能GPU的性能要求(比如 阅读全文
posted @ 2025-02-15 02:18 LexLuc 阅读(116) 评论(0) 推荐(0) 编辑
点击右上角即可分享
微信分享提示