随笔 - 128  文章 - 0  评论 - 75  阅读 - 11万
12 2023 档案
RasaGPT对话系统的工作原理
摘要:RasaGPT 结合了 Rasa 和 Langchain 这 2 个开源项目,当超出 Rasa 现有意图(out_of_scope)的时候,就会执行 ActionGPTFallback,本质上就是利用 Langchain 做了一个 RAG,调用 LLM API。RasaGPT 涉及的技术栈比较多而复 阅读全文
posted @ 2023-12-23 21:35 扫地升 阅读(618) 评论(0) 推荐(0) 编辑
使用vLLM和ChatGLM3-6b批量推理
摘要:当数据量大的时候,比如百万级别,使用 ChatGLM3-6b 推理的速度是很慢的。发现使用 vLLM 和 ChatGLM3-6b 批量推理极大的提高了推理效率。本文主要通过一个简单的例子进行实践。 1.安装 vLLM 和PyTorch [2] 除了 Python(本文使用 3.11)、CUDA(本文 阅读全文
posted @ 2023-12-23 21:34 扫地升 阅读(2755) 评论(0) 推荐(0) 编辑

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

点击右上角即可分享
微信分享提示