本地化部署自建类ChatGPT服务远程访问

Text generation web UI可为类ChatGPT的大型语言模型提供能够快速上手的网页界面，不仅可以提高使用效率，还可满足私有化部署，或对模型进行自定义。目前，该Web UI已经支持了许多流行的语言模型，包括LLaMA、llama.cpp、GPT-J、Pythia、OPT、GALACTICA等.

而且，Text generation web UI部署非常简便，不仅在github主页上直接提供了一键部署安装包，同时由于是web UI形式,直接通过浏览器即可操作,不过本地化部署,无法远程访问,这里我们结合cpolar内网穿透工具实现从安装到最后实现远程访问.

系统环境

*Windows 10

*Python 3.11.4

1. 安装Text generation web UI

在github界面下载压缩包,这里以windows系统为例

https://github.com/oobabooga/text-generation-webui

使用windows系统,我们下载windows压缩包

 

 

下载后,这里注意:存放目录的路径不能有空格,然后点击start_windows.bat启动安装

在安装过程中会提示选择显卡类型,根据电脑配置正常选择即可,然后等待下载,下载大小2个GB左右大小资源

 

2. 安装依赖

上面安装后会出现两个文件夹,可以看到其中一个是text-generation-webui 名称文件夹,我们点击cmd_windows.bat打开cmd命令行

 

打开后,进入text-generation-webui文件夹

cd text-generation-webui

执行下载依赖命令,注意!!!这里需要代理上网,否则下载依赖会发生错误,包括后面也一直需要保持有代理哦!!!

pip install -r requirements.txt

执行后等待下载完成即可

3. 安装语言模型

同意点击cmd_windows.bat打开cmd命令行,进入

 

输入命令进入text-generation-webui文件夹

cd text-generation-webui

 

安装facebook语言模型,其他语言模型可以查看GitHub文档上面找到

python download-model.py facebook/opt-1.3b

输入后等待下载安装完成即可,为了防止出现下载失败,或者开启代理!

4. 启动

点击start_windows.bat启动

启动后,可以看到访问的地址和端口,端口是:7860

在浏览器输入上述URL,即可看到web ui 界面

 

设置一下语言模型,点击Model,在下拉框可以看到我们上面下载安装的facebook模型,选择后点击Load,然后保存设置.

然后输入即可对话,这样就搭建好了,可玩度很高,且可以扩展其他语言模型!

5. 安装cpolar 内网穿透

cpolar内网穿透工具，永久免费且不限制流量，支持http/https/tcp协议，无需公网IP，也不用设置路由器，使用简单。

cpolar官网：https://i.cpolar.com/m/56Ju (首先进入官网注册免费套餐账号)

访问cpolar官网，注册一个账号，然后下载并安装客户端，具体安装教程可以参考官网文档教程。

• windows系统：在官网下载安装包后，双击安装包一路默认安装即可。

• linux系统：支持一键自动安装脚本，详细请参考官网文档——入门指南

cpolar安装成功后，在浏览器上访问本地9200端口【http://localhost:9200】，使用cpolar账号登录。

 

6. 创建公网地址

点击左侧仪表盘的隧道管理——创建隧道，创建一个我们上面的text generation webui 的http访问方式的7860隧道

• 隧道名称：可自定义命名，注意不要与已有的隧道名称重复

• 协议：选择http

• 本地地址：7860

• 域名类型：免费选择随机域名

• 地区：选择China vip

点击创建

隧道创建成功后，点击左侧的状态——在线隧道列表,查看所生成的公网地址，有两种访问方式,一种是http 和https

5. 公网访问

我们使用http公网地址访问,可以看到,我们访问到了text generation webui 界面,这样一个公网地址访问就创建好了