python系列&deep_study系列：vllm安装踩坑 && undefined symbol when importing torchaudio with pytorch 报错解决

vllm安装踩坑 && undefined symbol when importing torchaudio with pytorch 报错解决



vllm安装踩坑

今天是2024/7/18.

vllm0.5.2最近一周出了个不好搞的新issue，会遇到torch.ops._C没有rms_norm，或者没有reshape_and_cache_flash这两个属性的问题。

完整报错如下:

AttributeError: ‘_OpNamespace’ ‘_C_cache_ops’ object has no attribute ‘reshape_and_cache_flash’
AttributeError: ‘_OpNamespace’ ‘_C’ object has no attribute ‘rms_norm’

rms_norm issue链接
reshape_and_cache_flash issue链接

————————————————————

我没找到好的解决办法，issue里说的情况都是在用源码安装后遇到的，

posted @ 2024-08-13 16:45  坦笑&&life  阅读(12)  评论(0)  编辑  收藏  举报  来源