【Python】【ChatGPT】本地部署ChatGPT学习记录

合集 - Python(17)

1.【Python】【ChatGPT】本地部署ChatGPT学习记录2023-10-24

2.【Python】【OpenCV】【NumPy】图像和原始字节的转换2023-11-193.【Python】【OpenCV】【NumPy】图像数据的访问2023-11-204.【Python】【OpenCV】视频帧和摄像头帧操作 and 窗口显示2023-11-215.【Python】【OpenCV】Cameo项目（一）实时显示摄像头帧2023-11-276.【Python】【OpenCV】边缘检测和创建自定义核2023-11-297.【Python】【OpenCV】轮廓检测2023-11-308.【Python】【OpenCV】绘制外接矩形、外接圆2023-12-059.【Python】【OpenCV】凸轮廓和Douglas-Peucker算法2023-12-0610.【Python】【OpenCV】检测直线和圆2023-12-0711.【Python】【OpenCV】定位条形码（一）2023-12-2112.【Python】【OpenCV】定位条形码（二）moments和HuMoments2023-12-2113.【Python】【OpenCV】关于cv2.findContours()轮廓索引（编号）解析（RETR_TREE）2023-12-2614.【Python】【OpenCV】定位二维码2023-12-2815.【Python】【OpenCV】OCR识别（一）——目标区域定位2024-01-0216.【Python】【OpenCV】OCR识别（二）——透视变换2024-01-0817.【Python】【OpenCV】OCR识别（三）——字符识别2024-01-12

收起

学习一下GPT项目的相关使用和部署

 

一、GPT4ALL模型

Github：https://github.com/nomic-ai/gpt4all

GPT4ALL项目部署简易，但是在运行体验上一般，并且是只调用CPU来进行运算，看官方文档介绍在嵌入式上有比较大的优势，但是目前个人对嵌入式方向接触不深，仅在本机部署使用。

本机配置（CPU：i5-8400、显卡：1060、内存：8）

1、模型下载

链接：https://gpt4all.io/index.html

 可以自行选择不同的model类型，都有相对应的介绍，然后直接下载即可。

model使用相关文档链接：https://docs.gpt4all.io/index.html

下述是本机使用过程：

1、安装第三方库：pip install gpt4all

2、

from gpt4all import GPT4All
model = GPT4All(r'D:\GPT_Model\GPT4All-13B-snoozy.ggmlv3.q4_0', allow_download=False)
while True:
    str = input('Loading Done! Please input: ')
    if str == '0':
        break
    output = model.generate(str)
    print(output)

 

 使用上述代码，既可在命令行和模型连续沟通，但是体验感不佳（可能是因为我自己电脑配置的原因。。）

 也可以安装界面版，相关信息github自行获取。

 将陆续更新其他的模型本地部署（问就是GPT4ALL不是很好用...）