Eslzzyl

摘要： 今天尝试本地部署了 Qwen2-72B-Instruct-GPTQ-Int4 模型，这里记录一下操作的过程。 参考： https://qwen.readthedocs.io/zh-cn/latest/deployment/vllm.html https://docs.vllm.ai/en/stabl 阅读全文