llama-cpp-python web server cuda 编译安装简单说明
摘要：
llama-cpp-python 推荐的玩法是自己编译，以下是关于cuda 支持编译的简单说明 参考构建命令 命令 export CUDACXX=/usr/local/cuda-12.5/bin/nvcc # 此处核心是指定了nvcc 编译器路径，同时安装过cuda-drivers , 还需要配置环 阅读全文
posted @ 2024-08-26 08:00 荣锋亮 阅读(73) 评论(0) 推荐(0) 编辑
