05 2024 档案

【记录】LLM本地部署尝试

摘要：部署时间：2024年5月10日 update（2024年7月15日）：这几天刚刚了解到cuda环境已经被封装在pytorch包的二进制文件里面了...所以疑似是不需要装CUDA的（没实测）环境英伟达显卡（显存大小，在windows11上部署的话，8G勉强能跑，16G应该才能正常跑） Window 阅读全文

posted @ 2024-05-10 05:54 ilxT 阅读(304) 评论(0) 推荐(0) 编辑