python系列&deep_study系列:vllm安装踩坑 && undefined symbol when importing torchaudio with pytorch 报错解决

vllm安装踩坑 && undefined symbol when importing torchaudio with pytorch 报错解决




vllm安装踩坑

今天是2024/7/18.

vllm0.5.2最近一周出了个不好搞的新issue,会遇到torch.ops._C没有rms_norm,或者没有reshape_and_cache_flash这两个属性的问题。

完整报错如下:

AttributeError: ‘_OpNamespace’ ‘_C_cache_ops’ object has no attribute ‘reshape_and_cache_flash’
AttributeError: ‘_OpNamespace’ ‘_C’ object has no attribute ‘rms_norm’

rms_norm issue链接
reshape_and_cache_flash issue链接

————————————————————

我没找到好的解决办法,issue里说的情况都是在用源码安装后遇到的,

posted @   坦笑&&life  阅读(64)  评论(0编辑  收藏  举报  
相关博文:
阅读排行:
· Manus重磅发布:全球首款通用AI代理技术深度解析与实战指南
· 被坑几百块钱后,我竟然真的恢复了删除的微信聊天记录!
· 没有Manus邀请码?试试免邀请码的MGX或者开源的OpenManus吧
· 园子的第一款AI主题卫衣上架——"HELLO! HOW CAN I ASSIST YOU TODAY
· 【自荐】一款简洁、开源的在线白板工具 Drawnix
点击右上角即可分享
微信分享提示