简介

不在乎背景的可以直接跳过本节,直达 步骤 即可

xAI

马斯克名下的xAI™,目前已经开发出grok-beta 并提供$25/month 的免费API额度。听说效果不错,加上饱受OpenAI的连接性折磨,必须支(白)持(嫖)一波马斯克,但grok-beta提供的仅仅是API访问,好在grok-beta的API与OpenAI兼容,可以直接用OpenAI的python库完成访问。但如此使用起来仍然极其不便,搜寻开源软件之际,看到了open-webui项目:

open-webui

open-webui提供了一个与openAI推出的chatgpt官方页面极其相似的开源WebUI项目,其主要为本地部署大模型的用于提供便利,其UI界面部署后如下,神似ChatGPT:
image

而且更为重要的一点是,open-webui也提供了OpenAI API支持,前文介绍grok的时候我们提到,grok提供的API是open ai API兼容的,那么理论上我们可以很轻易的使用open-webui部署一个本地的UI,完成对grok的白嫖!

步骤

Note:本节默认具备docker环境及魔法上网能力
理论存在,实践开始。我们选择最为省力的docker安装,免去环境配置(当然首先得有docker环境)

  • 注册xAI账号,获取API key
    访问x.AI,注册/登录,Try Now,获取API-key,复制备用即可
  • 获取open-webui的docker镜像
 docker pull ghcr.io/open-webui/open-webui:main 	
  • 运行
docker run -d --network host   -v open-webui:/app/backend/data   -e OPENAI_API_BASE_URLS="https://api.x.ai/v1"   -e OPENAI_API_KEYS="<xAI-API-key>"   --name open-webui   --restart always   ghcr.io/open-webui/open-webui:main

<xAI-API-key>换为自己的API key即可

  • 测试
curl -v localhost:8080

出现以下字样即为成功:

* Trying localhost:8080...
* Connected to localhost (x.x.x.x) port 8080 (#0)
> GET / HTTP/1.1
> Host: x.x.x.x:8080
> User-Agent: curl/7.88.1
> Accept: */*
> 
< HTTP/1.1 200 OK
< date: Wed, 06 Nov 2024 06:06:39 GMT
< server: uvicorn
< content-type: text/html; charset=utf-8
< content-length: 6285
< last-modified: Wed, 30 Oct 2024 17:18:37 GMT
< etag: "xxxx"
< x-process-time: 0
  • 玩耍
    在浏览器中输入localhost:8080即可打开open-webui,第一次进入需要注册账号(应该是为了防止多人同时使用相互干扰)输入用户名邮箱和密码即可,然后登陆即可愉快玩耍。
  • 结果
    grok AI的速度明显比openAI要好,但是目前上传图片仍会提示json错误(可能是我部署在了远端服务器导致的?)

Ref

[1] https://github.com/open-webui/open-webui

 posted on 2024-11-06 14:52  拱炎炎  阅读(460)  评论(0编辑  收藏  举报