摘要： RasaGPT 结合了 Rasa 和 Langchain 这 2 个开源项目，当超出 Rasa 现有意图(out_of_scope)的时候，就会执行 ActionGPTFallback，本质上就是利用 Langchain 做了一个 RAG，调用 LLM API。RasaGPT 涉及的技术栈比较多而复 阅读全文

摘要： 当数据量大的时候，比如百万级别，使用 ChatGLM3-6b 推理的速度是很慢的。发现使用 vLLM 和 ChatGLM3-6b 批量推理极大的提高了推理效率。本文主要通过一个简单的例子进行实践。 1.安装 vLLM 和PyTorch [2] 除了 Python（本文使用 3.11）、CUDA（本文 阅读全文