生成式人工智能体验[2]-ChatGLM2
摘要
在macOS(Apple Silicon M2)上运行ChatGLM2-6B大模型.
ChatGLM2
在线体验(需要审核,手机收个验证码很快就通过了)[https://chatglm.cn]
[https://github.com/THUDM/ChatGLM2-6B]
[https://huggingface.co/THUDM/chatglm2-6b]
ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本,在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上,ChatGLM2-6B 引入了新特性。
chatglm.cpp
[https://github.com/li-plus/chatglm.cpp]
类似 llama.cpp 的 CPU 量化加速推理方案,实现 Mac 笔记本上实时对话.
实践
安装
# 下载程序
git clone --recursive https://github.com/li-plus/chatglm.cpp.git && cd chatglm.cpp
# 下载模型
mkdir THUDM
cd THUDM
git clone https://huggingface.co/THUDM/chatglm2-6b
cd ..
# 升级transformers
pip install transformers --upgrade
# transformers-4.30.2
# 转换模型到GGML格式
python3 convert.py -i THUDM/chatglm2-6b -t q4_0 -o THUDM/chatglm2-ggml.bin
# 编译程序
cmake -B build
cmake --build build -j
# 安装依赖
pip install chatglm-cpp -i https://pypi.org/simple
pip install "httpx[socks]"
pip install mdtex2html
# 开始运行
cd examples && python3 web_demo.py -m ../THUDM/chatglm2-6b/chatglm2-ggml.bin
访问:[127.0.0.1:7860]即可看到Gradio网页.
docker一键运行方式
#arm64架构
docker run -it --rm -p 8000:7860 qsbye/runtime-env1:v1-arm64 bash -c "cd /chatglm/chatglm.cpp/examples && python3 /chatglm/chatglm.cpp/examples/web_demo.py -m /chatglm/chatglm.cpp/THUDM/chatglm2-6b/chatglm2-ggml.bin"
docker run -it --rm -p 8000:7860 qsbye/runtime-env1:v1-arm64 bash -c "/chatglm/chatglm.cpp/build/bin/main -m /chatglm/chatglm.cpp/THUDM/chatglm2-6b/chatglm2-ggml.bin -i"
docker run -it --rm -p 8000:7860 qsbye/runtime-env1:v1-arm64 bash -c "/chatglm/chatglm.cpp/build/bin/main -m /chatglm/chatglm.cpp/THUDM/chatglm2-6b/chatglm2-ggml.bin -p 你好"
体验
- 问题1:
你是一名数学老师, .
本地的ChatGLM2-6B结果 | 在线ChatGLM结果 | ChatGPT3.5结果 |
---|---|---|
![]() |
![]() |
![]() |
- 问题2:
背诵带有"床前明月"的诗.
本地的ChatGLM2-6B结果 | 在线ChatGLM结果 | ChatGPT3.5结果 |
---|---|---|
![]() |
![]() |
![]() |
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 全程不用写代码,我用AI程序员写了一个飞机大战
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· 记一次.NET内存居高不下排查解决与启示
· 白话解读 Dapr 1.15:你的「微服务管家」又秀新绝活了
· DeepSeek 开源周回顾「GitHub 热点速览」
2022-07-27 vscode用模板自动生成注释