随笔分类 -  大模型llm

大模型llm
text-generation-webui 推理模型Qwen1.5-7B-Chat相关报错问题解决
摘要：推理代码 text-generation-webui 推理模型 Qwen1.5-7B-Chat sys infogpu： Tesla V100-PCIE-32GBpython： 3.10model：Qwen1.5-7B-Chatdocker docker run -it --rm --gpus='" 阅读全文
posted @ 2024-05-09 11:23 linzm14 阅读(1538) 评论(0) 推荐(0) 编辑
LLaMA-Factory 训练 Llama3-Chinese-8B-Instruct 相关报错问题解决
摘要：模型路径 up主为 llama中文社区 模型地址 https://www.modelscope.cn/models/FlagAlpha/Llama3-Chinese-8B-Instruct/summary sys info gpu： Tesla V100-PCIE-32GB python： 3.10 阅读全文
posted @ 2024-05-09 11:19 linzm14 阅读(1351) 评论(0) 推荐(0) 编辑
vllm 通过不同的chat_template推理部署常见qwen、chatglm、llama3等开源大模型
摘要：vllm 版本 4.0.0 镜像 vllm github 官方镜像 gpu v100 32g a800 80g openai api 方式 出现的问题通过 chat-template 聊天模板解决 1 推理部署qwen系列模型 测试 我是谁 问题：回答内容含有分词符，回答有杂论冗余内容 模型文件没有 阅读全文
posted @ 2024-04-26 15:52 linzm14 阅读(4302) 评论(3) 推荐(0) 编辑

点击右上角即可分享
微信分享提示