Ubuntu安装chatGLM3-6b

目录

• 概述
• 安装Anaconda3
  • 原文链接
  • 下载 Anaconda 3
  • 安装 Anaconda 3
    • 执行 bash 安装
    • 提示 “conda:未找到命令” 的解决办法
  • anaconda 3 常用命令
  • 添加/更换 conda 清华源
• 下载chatglm3-6b模型
• 下载chatglm3壳子

概述

本文主要介绍如何在Ubuntu上安装ChatGLM3-6b模型。只有6B 模型支持function call，32k 128k都没有支持，所以选择6b这个模型。

安装分为2个大的步骤：

1. 安装程序运行的环境，安装Anaconda3
2. 下载chatGLM3-6b的模型文件
   1. 下载chatGLM3-6b的模型文件，下载地址：https://modelscope.cn/models/ZhipuAI/chatglm3-6b-base/summary
   2. 下载chatGLM3运行的壳子，便于用户访问，下载地址：https://github.com/THUDM/ChatGLM3

安装Anaconda3

Anaconda 是 Python 的一个出色的集成开发工具集，包括了Python解释器、conda包管理器、以及众多集成好的数学科学库（numpy/pandas/matplotlib/scipy/sk-learn 等等）因此非常适合于对 python 有数据处理需求的工程师与学生使用，可以减少因包依赖导致的库下载失败而浪费时间。

原文链接

https://blog.csdn.net/qq_29225913/article/details/105347317

下载 Anaconda 3

国内用户可以从清华大学开源软件镜像站里面获取 Anaconda 3
https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/
根据日期排序，下载最新的版本，选择 Linux 64 位版本下载。

安装 Anaconda 3

执行 bash 安装

去到下载的文件夹内，执行命令：bash Anaconda3-2020.02-Linux-x86_64.sh

输入 yes

敲入回车

继续输入 yes

查看conda版本 ：conda -V
查看python 版本：python -V

提示 “conda:未找到命令” 的解决办法

往 /.bashrc 文件末尾追加 anaconda 的路径（/home/yourname/anaconda3/）

echo 'export PATH="/home/majianwei/anaconda3/bin:$PATH"' >> ~/.bashrc

更新source

source ~/.bashrc

重新执行下下面指令，能够正常打印版本号，就代表安装成功。
查看conda版本 ：conda -V
查看python 版本：python -V

anaconda 3 常用命令

序号	功能	命令	备注
1	查看 conda 版本	conda --version, conda -V
2	更新 conda	conda update conda
3	查看 conda 帮助(对初学者很有用的命令)	conda --help, conda -h
4	新建虚拟环境	conda create --name <env_name> <package_names>	多个包名用空格分开
5	切换 conda 环境	conda activate env_name
6	退出虚拟环境	conda deactivate
7	列出所有虚拟环境	conda info --envs, conda info -e, conda env list
8	复制环境	conda create --name new_env_name --clone copied_env_name
9	删除环境	conda remove --name env_name --all
10	精确查找包	conda search --full-name <package_name>
11	模糊查找包	conda search
12	获取当前环境中已安装的包信息	conda list
13	指定环境安装包	conda install --name <env_name> <package_names>	指定版本: conda install --name <env_name> <package_name=version>
14	在当前环境中安装包	conda install <package_names>
15	pip 安装	pip install <package_names>	conda 装不了的（或没有的）可用 pip 来安装

添加/更换 conda 清华源

conda config --add channels 'https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/'    #必需
conda config --add channels 'https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/'  #必需
conda config --set show_channel_urls yes

这是配置好的 .condarc 文件，查看命令 vim ~/.condarc

下载chatglm3-6b模型

推荐使用modescope 下载模型文件，国内的源，下在速度快。

下载链接：https://modelscope.cn/models/ZhipuAI/chatglm3-6b-base/files

Git下载命令：

git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b-base.git

SDK下载命令：

#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('ZhipuAI/chatglm3-6b-base')

下载chatglm3壳子

首先需要下载本仓库：

git clone https://github.com/THUDM/ChatGLM3
cd ChatGLM3

然后使用pip清华源安装依赖：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt

为了保证 torch 的版本正确，请严格按照 官方文档 的说明安装。

运行网页版本的壳子

streamlit run web_demo_streamlit.py 

运行命令行版本的壳子

python cli_demo.py

使用那个壳子就打开壳子对应的文件，修改为调用本地模型，/home/i/chatglm3/chatglm3-6b 就是下载的模型文件路径：

MODEL_PATH = os.environ.get('MODEL_PATH', '/home/i/chatglm3/chatglm3-6b')