VisualGLM-6B安装教程

VisualGLM-6B安装教程

简介

VisualGLM-6B 是一个开源的，支持图像、中文和英文的多模态对话语言模型，语言模型基于 ChatGLM-6B，具有 62 亿参数；图像部分通过训练 BLIP2-Qformer 构建起视觉模型与语言模型的桥梁，整体模型共78亿参数。

结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4量化级别下最低只需8.7G显存）。

开源地址

1. 创建新的虚拟环境

conda create -n visualglm python==3.10.6
conda activate visualglm

#前往https://pytorch.org/
#找到适合自己的pytorch版本
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117

#下载代码（可以使用git或者download zip上传服务器解压）
git clone https://github.com/THUDM/VisualGLM-6B.git

cd VisualGLM-6B
#安装项目依赖包
pip install -i https://pypi.org/simple -r requirements.txt

2. 启动服务

#web_demo.py中的两个参数
--quant {8,4}         quantization bits （量化位）
# parser.add_argument("--quant", choices=[8, 4], type=int, default=None) #8bits 与4bits
#parser.add_argument("--share", action="store_true") #share为true是表示开始共享服务 为false 表示只能通过本地访问127.0.0.1:7860

python web_demo.py --quant 8 --share

3. 遇到的问题

执行python web_demo.py后访问页面127.0.0.1:7860进行测试出现以下错误
Error: Library cudart is not initialized
#Solution
#步骤1 查询cuda运行时版本
conda list | grep cuda
#nvidia-cuda-runtime-cu11  11.7.99                  pypi_0    pypi
# 使用conda安装cudatoolkit
conda install cudatoolkit=11.7 -c nvidia