05 2024 档案

flash-attn安装失败
摘要：升级gcc，顺利安装flash-attn 阅读全文
posted @ 2024-05-29 16:41 badwood 阅读(917) 评论(0) 推荐(0) 编辑
配置nginx支持websocket
摘要：ng配置，支持websoket，支持根转发 阅读全文
posted @ 2024-05-16 21:49 badwood 阅读(237) 评论(0) 推荐(0) 编辑
openresty实现nginx+lua
摘要：用openresty docker实现nginx + lua 阅读全文
posted @ 2024-05-15 22:50 badwood 阅读(69) 评论(0) 推荐(0) 编辑
一个低级问题导致vLLM加载大模型时ray卡死
摘要：因nproc设置过小导致vllm加载大模型时卡在ray启动阶段 阅读全文
posted @ 2024-05-12 17:35 badwood 阅读(2507) 评论(3) 推荐(1) 编辑

Badwood's Blog
点击右上角即可分享
微信分享提示