2024年4月26日
vllm 通过不同的chat_template推理部署常见qwen、chatglm、llama3等开源大模型
摘要： vllm 版本 4.0.0 镜像 vllm github 官方镜像 gpu v100 32g a800 80g openai api 方式 出现的问题通过 chat-template 聊天模板解决 1 推理部署qwen系列模型 测试 我是谁 问题：回答内容含有分词符，回答有杂论冗余内容 模型文件没有 阅读全文
posted @ 2024-04-26 15:52 linzm14 阅读(2937) 评论(3) 推荐(0) 编辑