生成式人工智能体验[2]-ChatGLM2
摘要
在macOS(Apple Silicon M2)上运行ChatGLM2-6B大模型.
ChatGLM2
在线体验(需要审核,手机收个验证码很快就通过了)[https://chatglm.cn]
[https://github.com/THUDM/ChatGLM2-6B]
[https://huggingface.co/THUDM/chatglm2-6b]
ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本,在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上,ChatGLM2-6B 引入了新特性。
chatglm.cpp
[https://github.com/li-plus/chatglm.cpp]
类似 llama.cpp 的 CPU 量化加速推理方案,实现 Mac 笔记本上实时对话.
实践
安装
# 下载程序
git clone --recursive https://github.com/li-plus/chatglm.cpp.git && cd chatglm.cpp
# 下载模型
mkdir THUDM
cd THUDM
git clone https://huggingface.co/THUDM/chatglm2-6b
cd ..
# 升级transformers
pip install transformers --upgrade
# transformers-4.30.2
# 转换模型到GGML格式
python3 convert.py -i THUDM/chatglm2-6b -t q4_0 -o THUDM/chatglm2-ggml.bin
# 编译程序
cmake -B build
cmake --build build -j
# 安装依赖
pip install chatglm-cpp -i https://pypi.org/simple
pip install "httpx[socks]"
pip install mdtex2html
# 开始运行
cd examples && python3 web_demo.py -m ../THUDM/chatglm2-6b/chatglm2-ggml.bin
访问:[127.0.0.1:7860]即可看到Gradio网页.
docker一键运行方式
#arm64架构
docker run -it --rm -p 8000:7860 qsbye/runtime-env1:v1-arm64 bash -c "cd /chatglm/chatglm.cpp/examples && python3 /chatglm/chatglm.cpp/examples/web_demo.py -m /chatglm/chatglm.cpp/THUDM/chatglm2-6b/chatglm2-ggml.bin"
docker run -it --rm -p 8000:7860 qsbye/runtime-env1:v1-arm64 bash -c "/chatglm/chatglm.cpp/build/bin/main -m /chatglm/chatglm.cpp/THUDM/chatglm2-6b/chatglm2-ggml.bin -i"
docker run -it --rm -p 8000:7860 qsbye/runtime-env1:v1-arm64 bash -c "/chatglm/chatglm.cpp/build/bin/main -m /chatglm/chatglm.cpp/THUDM/chatglm2-6b/chatglm2-ggml.bin -p 你好"
体验
- 问题1:
你是一名数学老师,$$ \lim_{x \to 0} \frac{1}{x} = ? $$.
本地的ChatGLM2-6B结果 | 在线ChatGLM结果 | ChatGPT3.5结果 |
---|---|---|
![]() |
![]() |
![]() |
- 问题2:
背诵带有"床前明月"的诗.
本地的ChatGLM2-6B结果 | 在线ChatGLM结果 | ChatGPT3.5结果 |
---|---|---|
![]() |
![]() |
![]() |