会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Eslzzyl
博客园
首页
新随笔
联系
订阅
管理
2024年8月24日
Qwen2-72B的vLLM部署
摘要: 今天尝试本地部署了 Qwen2-72B-Instruct-GPTQ-Int4 模型,这里记录一下操作的过程。 参考: https://qwen.readthedocs.io/zh-cn/latest/deployment/vllm.html https://docs.vllm.ai/en/stabl
阅读全文
posted @ 2024-08-24 20:46 Eslzzyl
阅读(190)
评论(0)
推荐(0)
编辑