生成式人工智能体验[2]-ChatGLM2

摘要

在macOS(Apple Silicon M2)上运行ChatGLM2-6B大模型.

ChatGLM2

在线体验(需要审核,手机收个验证码很快就通过了)[https://chatglm.cn]
[https://github.com/THUDM/ChatGLM2-6B]
[https://huggingface.co/THUDM/chatglm2-6b]
ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本,在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上,ChatGLM2-6B 引入了新特性。

chatglm.cpp

[https://github.com/li-plus/chatglm.cpp]
类似 llama.cpp 的 CPU 量化加速推理方案,实现 Mac 笔记本上实时对话.

实践

安装

# 下载程序
git clone --recursive https://github.com/li-plus/chatglm.cpp.git && cd chatglm.cpp
# 下载模型
mkdir THUDM
cd THUDM
git clone https://huggingface.co/THUDM/chatglm2-6b
cd ..
# 升级transformers
pip install transformers --upgrade
# transformers-4.30.2
# 转换模型到GGML格式
python3 convert.py -i THUDM/chatglm2-6b -t q4_0 -o THUDM/chatglm2-ggml.bin
# 编译程序
cmake -B build
cmake --build build -j
# 安装依赖
pip install chatglm-cpp -i https://pypi.org/simple
pip install "httpx[socks]"
pip install mdtex2html
# 开始运行
cd examples && python3 web_demo.py -m ../THUDM/chatglm2-6b/chatglm2-ggml.bin

访问:[127.0.0.1:7860]即可看到Gradio网页.

docker一键运行方式

#arm64架构
docker run -it --rm -p 8000:7860 qsbye/runtime-env1:v1-arm64 bash -c "cd /chatglm/chatglm.cpp/examples && python3 /chatglm/chatglm.cpp/examples/web_demo.py -m /chatglm/chatglm.cpp/THUDM/chatglm2-6b/chatglm2-ggml.bin"
docker run -it --rm -p 8000:7860 qsbye/runtime-env1:v1-arm64 bash -c "/chatglm/chatglm.cpp/build/bin/main -m /chatglm/chatglm.cpp/THUDM/chatglm2-6b/chatglm2-ggml.bin -i"
docker run -it --rm -p 8000:7860 qsbye/runtime-env1:v1-arm64 bash -c "/chatglm/chatglm.cpp/build/bin/main -m /chatglm/chatglm.cpp/THUDM/chatglm2-6b/chatglm2-ggml.bin -p 你好"

体验

  1. 问题1:
    你是一名数学老师,limx01x=?.
本地的ChatGLM2-6B结果 在线ChatGLM结果 ChatGPT3.5结果
本地的ChatGLM2-6B结果 在线ChatGLM结果 ChatGPT3.5结果
  1. 问题2:
    背诵带有"床前明月"的诗.
本地的ChatGLM2-6B结果 在线ChatGLM结果 ChatGPT3.5结果
本地的ChatGLM2-6B结果 在线ChatGLM结果 ChatGPT3.5结果

posted @   qsBye  阅读(284)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 全程不用写代码,我用AI程序员写了一个飞机大战
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· 记一次.NET内存居高不下排查解决与启示
· 白话解读 Dapr 1.15:你的「微服务管家」又秀新绝活了
· DeepSeek 开源周回顾「GitHub 热点速览」
历史上的今天:
2022-07-27 vscode用模板自动生成注释
点击右上角即可分享
微信分享提示