推测解码：在不降低准确性的情况下将LLM推理速度提高2 - 3倍

在本篇文章我们将详细讨论推测解码，这是一种可以将LLM推理速度提高约2 - 3倍而不降低任何准确性的方法。我们还将会介绍推测解码代码实现，并看看它与原始transformer 实现相比到底能快多少。

推测解码是一种“先推测后验证” (Draft-then-Verify) 的解码算法，涉及并行运行两个模型，可与i将语言模型推理的速度有望提高2-3倍。

 

https://avoid.overfit.cn/post/5a5ec75eec9f48a685c2686b0009e8fc