2023年11月25日
LLMLingua:集成LlamaIndex，对提示进行压缩，提供大语言模型的高效推理
摘要： 大型语言模型(llm)的出现刺激了多个领域的创新。但是在思维链(CoT)提示和情境学习(ICL)等策略的驱动下，提示的复杂性不断增加，这给计算带来了挑战。这些冗长的提示需要大量的资源来进行推理，因此需要高效的解决方案，本文将介绍LLMLingua与专有的LlamaIndex的进行集成执行高效推理。 阅读全文
posted @ 2023-11-25 10:16 deephub 阅读(89) 评论(0) 推荐(0) 编辑