python&anconda系列：ChatGLM:本地化搭建大模型实例

ChatGLM:本地化搭建大模型实例

• 1.项目启发
• • 1.1 硬件需求
  • 1.2 项目地址
  • 1.3 说明文档
• 2.部署模型的基本流程(小白向)
• • 2.1 下载需要启动模型的文件的几种方式
  • • 2.1.1 从github上下载所需要启动模型的文件
    • • • 模型文件已经更新到最新版,使用以下命令可在data中生成chatglm6b启动所需的文件
    • 2.1.2 直接下载
    • • GitHub下载
      • Hugging Face Hub下载
  • 2.2 安装依赖环境
  • • • 为了避免之后的重复安装库，我是选择使用外部依赖库，同时也方便后面的测试（测试可跳转3.1）
      • 命令行安装
      • 持久化安装（成功安装）
      • 安装完成可以看到work下的external-libraries外部依赖库是否有所安装的库
  • 2.3 缓存文件的设置
  • • • 1. 进入/home/aistudio/external-libraries/transformers/utils/
      • 2. 找到hub.py文件并打开，然后修改hf_cache_home变量中的cache位置为你想要放置的cache位置
  • 2.4 预训练模型下载
  • • • • 清华镜像:[https://cloud.tsinghua.edu.cn/d/fb9f16d6dc8f482596c2/](https://cloud.tsinghua.edu.cn/d/fb9f16d6dc8f482596c2/)
      • 注:若前面已经从data中复制了模型文件这个Cell可以略过
  • 2.5 对话脚本启动准备
  • • 1.调整模型文件的启动路径
    • 2.添加环境变量
• 3.项目启动
• • 3.1 模型测试
  • • 解压启动文件到模型存放路径并启动
    • 模型加载中
    • 模型测试结果
  • 3.2 项目总结
  • • 分析了ChatGLM模型文件的整体结构后,我对整体的模型运行逻辑进行了一个分析，后续如果有能力调整的可参考一下
    • 在尝试将torch转换paddle发现了挺多问题的，
    • 这个模型整体是基于torch环境搭建的，并且在运行预训练模型加载后，是调用hub远程代码进行组织本地代码加载的，其组网的modelling_chatglm文件整体均是使用torch环境，要想完全在paddle环境下运行需要对整体文件进行调整，这里我提供一些思路供大家参考

---

最近清华开源了ChatGLM-6B模型，想到了可本地部署这个模型，但是我本地显卡内存不够，然后就想用飞桨的studio来部署这个模型

1.项目启发

最近ChatGLM-6B清华开源模型发布,之前玩ChatGBT觉得挺好玩，想着能不能自己本地用chatgpt，毕竟某些不可抗力因素使用ChatGBT比较困难，目前申请不了百度文心一言的模型API,因此想自己部署ChatGLM-6B来进行测试，由于本地电脑显存不够（最低都要6GB）,所以只能来飞桨平台这里试试了~话不多说让我们进入部署的流程

1.1 硬件需求

量化等级	最低 GPU 显存
FP16（无量化）	13 GB
I NT8	10 GB
INT4	6 GB

1.2 项目地址

Github:https://github.com/THUDM/ChatGLM-6B
Huggin