2024年5月12日
一个低级问题导致vLLM加载大模型时ray卡死
摘要： 因nproc设置过小导致vllm加载大模型时卡在ray启动阶段 阅读全文
posted @ 2024-05-12 17:35 badwood 阅读(1318) 评论(3) 推荐(1) 编辑
Badwood's Blog