python&anconda系列（亲测有效）：ChatGLM：win11部署大模型实例并正常启动、ChatGLM2-6B 模型基于 P-Tuning v2 的微调

ChatGLM：win11部署大模型实例并正常启动、ChatGLM2-6B 模型基于 P-Tuning v2 的微调

• 一. anconda
• • • 1. anconda安装
    • 2. 环境变量配置
    • 3. 使用过程中的问题
    • • 已经解决的问题
      • • 环境方面
        • 1. cmd/powershell/anaconda prompt提示“系统找不到指定的路径”
        • • 2. 一直卡在loading applications或弹出There is an instance of anaconda navigator alr
        • 使用方面
        • 3. 无法加载文件C:\Users\xxx\Documents\WindowsPowerShell\profile.ps1，因为在此系统上禁止运行脚本
        • 4. ValueError: greenlet.greenlet size以及keras保存的h5模型加载时出现“AttributeError: ‘str‘ object
        • 5. ERROR: Could not build wheels for pycocotools which use PEP 517
        • 6. Pycharm无法debug
      • 未解决的问题
      • • 1. assert last_idx is not None
        • 2. Invoke-Expression ，Invoke-Expression -Command $activateCommand或power shell激活虚拟环境报错失
    • 4. 其他博主遇到的问题
    • • • 1. Unable to create process using ‘D:\Anaconda3\python.exe D:\Anaconda3\Scripts\conda-s
        • 2. conda 安装过程中无法激活 python 虚拟环境问题
        • 3. An unexpected error has occurred. Conda has prepared the above report
      • 4. UnsatisfiableError: The following specifications were found to be incompa
      • • 5. Installing multiqc on Conda produces "UnsatisfiableError:"
    • 4. 目前可以做到的
• 二. CUDA、cuDNN
• • • CUDA、cuDNN 安装以及环境变量配置
• 三. ChatGLM2-6B部署以及使用
• • 一. ChatGLM2-6B部署
  • • 创建虚拟环境
    • ChatGLM2-6B下载
    • 安装依赖
    • 修改对应的py文件
  • 二. ChatGLM2-6B使用
  • • 1. 开始运行web_demo（Pycharm右键run）所遇到的问题
    • • • 1. cannot import name ‘Doc‘ from ‘typing_extensions‘
        • • 问题描述
          • 问题原因
          • 解决方案
        • 2. ImportError: cannot import name ‘_illegal’ from 'sympy.core.numbers’错
        • • 3. DLL load failed while importing _imaging: 找不到指定的模块的解决方法 Python 文件命名引发的“module has no attribute“错误
          • 4. python 报错 ModuleNotFoundError: No module named ‘chardet‘ 解决方法
          • 5. chatglm2-b部署报错问题‘Textbox‘ object has no attribute ‘style‘
          • 6. RuntimeError: CUDA out of memory. Tried to allocate 128.00 MiB (GPU 0； 8.00 GiB total capacity； 1
          • 7. AssertionError: Unsupported bit-width
          • 8. AssertionError: Torch not compiled with CUDA enabled
          • 9. 如果和GCC有关
    • 2. 正式开始运行web_demo（Pycharm右键run）
    • 3. 正式开始运行web_demo2
    • 4. api.py的问题
• 四. ChatGLM2-6B 模型基于 P-Tuning v2 的微调
• • • Web_Demo启动！
    • API启动！

---

咳咳，工作需要，我一个Unity程序员去做AI相关的研究。从一开始的调用文心一言接口到现在自己部署ChatGLM2-6B并且通过Api调用。记录一下这个过程。

首先要保证自己的显卡有6G。这是最基础的要求，说白了就是GTX1060或者1660。玩AI都是用N卡，哎~我的6700XT… 期待战未来。

首先，先安装python，版本的话，在写这个文章的时候我用的是3.8.0。够用就好，太新怕有莫名其妙的BUG。

一. anconda

anconda不同版本、不同系统、不同配置 会产生 各种 奇葩问题，这里只说明笔者遇到的一些问题，文中没有涉及到的请自行百度

1. anconda安装

笔者版本：Anaconda3-2019.03-Windows-x86_64

Python&aconda系列：Anacond、Miniconda的下载安装配置教程详解 中的 一. Anacond下载安装配置教程详解

2. 环境变量配置