ChatGLM2-6B清华开源本地化部署
一、前言
随着科技的不断发展，人工智能作为一项新兴技术，已逐渐渗透到各行各业。
AI 技术发展迅速、竞争激烈，需要保持对新技术的关注和学习。
ChatGPT的强大无需多说，各种因素国内无法商用，本文仅探讨：ChatGLM2 、百川13B大模型。两者都可以免费本地部署和商用。
ChatGLM官网体验地址：https://chatglm.cn/
百川大模型官网体验地址：https://chat.baichuan-ai.com/
二、环境准备
ChatGLM2-6B至少需要13G GPU（虽然官网说12G即可），int8需要8G，int4需要4G。
百川13B至少需要28G GPU（虽然官网说24G即可）
以下环境为Windows：
1.安装git
2.安装python
3.安装pip
4.安装CUDA
5.安装conda(非必须)
6.安装Torch
注：PyTorch官方下载很慢，可以选择先下载到本地，然后pip install xxx.whl，下载时注意版本要与显卡和CUDA版本、python版本对应
参考：https://blog.csdn.net/qq_46126258/article/details/112708781
建议：可以选择安装Anaconda，它是一个开源的包、环境管理器，可以用于在同一个机器上安装不同版本的软件包及其依赖，并能够在不同的环境之间切换。
常用命令：
创建环境 conda create --name xxx python=3.10.2
进入环境 conda activate xxx （进入环境windows有时不需要前面的conda命令）
退出环境 conda deactivate
切换python版本 conda install -y python==x.x.x
三、模型及项目下载
项目地址：https://github.com/THUDM/ChatGLM2-6B （ChatGLM2-6B git clone下来即可）
https://github.com/baichuan-inc/Baichuan-13B （百川13B）
模型地址：https://huggingface.co/THUDM/chatglm2-6b (ChatGLM2-6B)
https://huggingface.co/baichuan-inc/Baichuan-13B-Chat （百川13B）
四、安装及部署
所有相关文件和环境安装好后，开始运行模型。
1、首先进入相关项目文件夹，执行 pip install -r requirements.txt ，安装相关依赖
（清华源镜像，在后面加：-i https://pypi.tuna.tsinghua.edu.cn/simple/ ）
2、编辑相关文件设置模型位置
3、选择部署方式
1.api方式部启动，执行命令： python api.py
2.命令行方式启动，执行命令：python cli_demo.py
3.网页方式启动，执行命令：python web_demo.py
4、启动成功
