You Only Cache Once:YOCO 基于Decoder-Decoder 的一个新的大语言模型架构

这是微软再5月刚刚发布的一篇论文提出了一种解码器-解码器架构YOCO，因为只缓存一次KV对，所以可以大量的节省内存。

以前的模型都是通过缓存先前计算的键/值向量，可以在当前生成步骤中重用它们。键值(KV)缓存避免了对每个词元再次编码的过程，这样可以大大提高了推理速度。

但是随着词元数量的增加，KV缓存占用了大量GPU内存，使得大型语言模型的推理受到内存限制。所以论文的作者改进了这一架构：

YOCO是为自回归建模而设计的，例如大型语言模型(llm)。所提出的解码器-解码器架构有两部分，即自解码器和交叉解码器，如下图所示

 

https://avoid.overfit.cn/post/90e0bd170644476cbccabb039e7105ae