生成式人工智能体验[2]-ChatGLM2

摘要

在macOS(Apple Silicon M2)上运行ChatGLM2-6B大模型.

ChatGLM2

在线体验(需要审核,手机收个验证码很快就通过了)[https://chatglm.cn]
[https://github.com/THUDM/ChatGLM2-6B]
[https://huggingface.co/THUDM/chatglm2-6b]
ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B 引入了新特性。

chatglm.cpp

[https://github.com/li-plus/chatglm.cpp]
类似 llama.cpp 的 CPU 量化加速推理方案，实现 Mac 笔记本上实时对话.

实践

安装

# 下载程序
git clone --recursive https://github.com/li-plus/chatglm.cpp.git && cd chatglm.cpp
# 下载模型
mkdir THUDM
cd THUDM
git clone https://huggingface.co/THUDM/chatglm2-6b
cd ..
# 升级transformers
pip install transformers --upgrade
# transformers-4.30.2
# 转换模型到GGML格式
python3 convert.py -i THUDM/chatglm2-6b -t q4_0 -o THUDM/chatglm2-ggml.bin
# 编译程序
cmake -B build
cmake --build build -j
# 安装依赖
pip install chatglm-cpp -i https://pypi.org/simple
pip install "httpx[socks]"
pip install mdtex2html
# 开始运行
cd examples && python3 web_demo.py -m ../THUDM/chatglm2-6b/chatglm2-ggml.bin

访问:[127.0.0.1:7860]即可看到Gradio网页.

docker一键运行方式

#arm64架构
docker run -it --rm -p 8000:7860 qsbye/runtime-env1:v1-arm64 bash -c "cd /chatglm/chatglm.cpp/examples && python3 /chatglm/chatglm.cpp/examples/web_demo.py -m /chatglm/chatglm.cpp/THUDM/chatglm2-6b/chatglm2-ggml.bin"
docker run -it --rm -p 8000:7860 qsbye/runtime-env1:v1-arm64 bash -c "/chatglm/chatglm.cpp/build/bin/main -m /chatglm/chatglm.cpp/THUDM/chatglm2-6b/chatglm2-ggml.bin -i"
docker run -it --rm -p 8000:7860 qsbye/runtime-env1:v1-arm64 bash -c "/chatglm/chatglm.cpp/build/bin/main -m /chatglm/chatglm.cpp/THUDM/chatglm2-6b/chatglm2-ggml.bin -p 你好"

体验

1. 问题1:
   你是一名数学老师,$$\underset{x\to 0}{lim}\frac{1}{x}=?$$.

本地的ChatGLM2-6B结果	在线ChatGLM结果	ChatGPT3.5结果

2. 问题2:
   背诵带有"床前明月"的诗.

本地的ChatGLM2-6B结果	在线ChatGLM结果	ChatGPT3.5结果