LLMLingua:集成LlamaIndex，对提示进行压缩，提供大语言模型的高效推理

大型语言模型(llm)的出现刺激了多个领域的创新。但是在思维链(CoT)提示和情境学习(ICL)等策略的驱动下，提示的复杂性不断增加，这给计算带来了挑战。这些冗长的提示需要大量的资源来进行推理，因此需要高效的解决方案，本文将介绍LLMLingua与专有的LlamaIndex的进行集成执行高效推理。

LLMLingua是微软的研究人员发布在EMNLP 2023的一篇论文，LongLLMLingua是一种通过快速压缩增强llm在长上下文场景中感知关键信息的能力的方法。

 

https://avoid.overfit.cn/post/0fb3b50283c541d78e4d40c9083b88d9