2025年2月9日 #
机器环境:惠普笔记本电脑,32G内存,intel 11800H cpu,NVIDIA GeForce RTX 3050 Ti Laptop GPU
实现目的:在windows11上安装deepseek-r1 14b等模型,并实现断网在本地的浏览器中运行大模型问答。
结果:默认是cpu中运行deepseek-r1 14B,每秒大概6个token的速度,比ph4:14b快了几倍。
有效时间:20250209
特点:避免了linux,避免了docker,直接在python和pip就解决了
注意点:python3.11以下版本,无法正常安装open-webui,会出现很多错误。
1、首先到ollama.com下载ollama程序
如果下载速度慢可以用迅雷等工具下载如下链接,会快很多
https://github.com/ollama/ollama/releases/latest/download/OllamaSetup.exe
2、直接安装ollamasetup.exe即可
3、安装python3.11
请检查本机python版本,如果不是3.11则重新安装,并配置python的环境变量
如果低于这个版本,无法安装open-webui
4、pip安装open-webui
pip install open-webui
5、设置环境变量
如果运行open-webui serve出现错误,无法打开,则配置 如下windows环境变量
HF_ENDPOINT=https://hf-mirror.com
这是为了无法访问huggingface.co而进行的设置。
如果不做这个设置,服务正常启动,但网页打不开 openwebui启动过程会产生很多错误
6、运行
命令行运行 ollama ,但无需直接run某个模型,网页版本会自己运行模型。
运行openwebui:open-webui serve
然后网站打开 localhost:8080即可 http://localhost:8080/,第一次要进行注册。
第一次运行open-webui卡主了,网状打开5分钟仍无返回,此时需要用ctrl+c终止openwebui,终止后,网状正常打开,但每次请求都会这样卡顿。
重启openwebui后正常。
但请求过程很慢,每次都是等整个回答全部输出之后,才开始显示,让人感觉好像中间出问题一样,但大概1分钟,ollama输出完成后,就会得到网页的回答结果。
2023年12月19日 #
2023年11月26日 #
2023年11月17日 #
2023年11月8日 #
2022年5月4日 #
2019年12月7日 #
2018年12月10日 #