在笔记本电脑上跑清华chatglm大语言模型
环境:windows10以上系统,安装Linux子系统
下载这个文件,双击,安装:https://wslstorestorage.blob.core.windows.net/wslblob/wsl_update_x64.msi sudo sed -i 's/deb.debian.org/mirrors.ustc.edu.cn/g' /etc/apt/sources.list sudo dpkg-reconfigure locales sudo apt update sudo apt install cmake gcc g++ git 这里有几条命令,效果一样,哪个速度快用哪个: git clone https://ghproxy.com/https://github.com/ztxz16/fastllm.git git clone https://github.moeyy.xyz/https://github.com/ztxz16/fastllm.git git clone https://kgithub.com/ztxz16/fastllm.git git clone https://hub.fgit.gq/ztxz16/fastllm.git git clone https://gitclone.com/github.com/ztxz16/fastllm.git 继续: cd fastllm mkdir build cd build 有N卡,那么:cmake .. -DUSE_CUDA=ON 无N卡,那么:cmake .. -DUSE_CUDA=OFF 然后: make -j 最后,从这个链接下载模型文件:https://huggingface.co/huangyuyang/chatglm2-6b-int4.flm/tree/main 按照视频中的操作拷贝 最后: ./webui -p chatglm2-6b-int4.flm --port 1234 输出一个ip地址,访问它
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· TypeScript + Deepseek 打造卜卦网站:技术与玄学的结合
· 阿里巴巴 QwQ-32B真的超越了 DeepSeek R-1吗?
· 【译】Visual Studio 中新的强大生产力特性
· 【设计模式】告别冗长if-else语句:使用策略模式优化代码结构
· 10年+ .NET Coder 心语 ── 封装的思维:从隐藏、稳定开始理解其本质意义
2021-01-14 HttpClient 4.5.2版本设置连接超时时间-CloseableHttpClient设置Timeout
2021-01-14 closeableHttpClient和HttpClient不同