ChatGLM 拉取清华git项目
windows使用nvdia显卡运行ChatGLM
1. 安装nvidia显卡驱动
我使用cuda_11.8.0_522.06_windows
2.清华的开源git项目
通过pycharm 拉取项目
注意http后面加上ghproxy.com代理,会加快github clone
创建一个虚拟的环境,所有的依赖会装在这个文件夹
安装所需依赖
3.运行此程序
报错,装成cpu的torch
默认执行 pip3 install -r requirements.txt 会安装cpu版本的torch,需要手动删除torch,然后安装gpu版本的torch
(venv) PS C:\Users\supermao\PycharmProjects\ChatGLM-6B> pip3 uninstall torch
(venv) PS C:\Users\supermao\PycharmProjects\ChatGLM-6B> pip3 install torch --index-url https://download.pytorch.org/whl/cu118
我的gpu只有6G,修改web.demo.py
demo.queue().launch(share=False, inbrowser=True, server_name="0.0.0.0")
修改代码最后一行共享给局域网使用
第一次运行web.demo.py会下载模型,需要等待一段时间。模型位置在用户家目录 为 .cache
分类:
其他
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· PowerShell开发游戏 · 打蜜蜂
· 在鹅厂做java开发是什么体验
· 百万级群聊的设计实践
· WPF到Web的无缝过渡:英雄联盟客户端的OpenSilver迁移实战
· 永远不要相信用户的输入:从 SQL 注入攻防看输入验证的重要性