DeepSeek火爆全网,Linux本地部署
前言#
最近 DeepSeek 狠狠刷了一波屏,国产大模型真的越来越厉害了👍,官方的服务器已经爆满了,以至于频繁出现反应迟缓甚至宕机的情况,和两年多之前 ChatGPT 的遭遇颇为相似。
我已经好久没有本地部署模型了(现在各厂商的模型都便宜量大),这次正好来试试 DeepSeek 开源模型的效果。
关于AI大模型的扩展阅读#
- LLM探索:环境搭建与模型本地部署
- LLM探索:GPT类模型的几个常用参数 Top-k, Top-p, Temperature
- 快来玩AI画图!StableDiffusion模型搭建与使用入门~
- 使用Django-Channels实现websocket通信+大模型对话
- 项目完成小结:使用Blazor和gRPC开发大模型客户端
安装 ollama#
https://ollama.com/download/linux
我是在 Linux 服务器上安装的,一行命令就可以。如果是 Windows 的话,可能是下载安装包就行。
curl -fsSL https://ollama.com/install.sh | sh
我安装的时候似乎遇到网络问题
改成先下载
wget https://ollama.com/install.sh
然后手动执行安装,就可以了
sh ./install.sh
配置 ollama 监听地址#
ollama 安装后默认监听 127.0.0.1, 为了方便使用,要么修改监听地址,要么用 SSH 转发,这里我选择了修改地址
sudo systemctl edit ollama
它会自动在 /etc/systemd/system/ollama.service.d/override.conf
中存储你添加或修改的配置。
在里面添加配置
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
即可覆盖主服务文件里对 OLLAMA_HOST
的设置,其他环境变量(如 PATH
等)则仍保留主服务文件里的值。
验证#
先重启以下
sudo systemctl daemon-reload
sudo systemctl restart ollama
然后执行以下命令验证
sudo systemctl show ollama | grep Environment
你会看到系统最终为该服务设置的所有环境变量。其中如果存在同名变量,就会以最后写入(即 override 配置)的值为准。
搜索模型#
https://ollama.com/search?q = deepseek
目前最火的 DeepSeek-R1 排在显眼位置
这里根据显存选择合适的模型,我选了 14b 的模型
右侧有安装命令,点击按钮复制
安装#
接着执行命令
ollama run deepseek-r1:14b
开始下载,14b 的模型大小是 9GB
使用#
在命令行可以直接使用
安装 Open WebUI#
https://github.com/open-webui/open-webui
pip 安装#
conda create -n open-webui python=3.11
切换环境
conda activate open-webui
安装
pip install open-webui
启动
open-webui serve
docker#
官方只提供了 docker 命令
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
我改成了 docker-compose 配置
services:
open-webui:
image: ghcr.io/open-webui/open-webui:main
container_name: open-webui
restart: always
ports:
- "3000:8080"
extra_hosts:
- "host.docker.internal:host-gateway"
volumes:
- "./open-webui:/app/backend/data"
SSH 转发#
在本机执行以下命令,将服务器的端口转发到本机
ssh -L 3000:localhost:3000 用户名@服务器地址 -p 端口
这样就可以在本机的浏览器打开 http://localhost:3000
访问到 webui 了
使用 webui#
很简单,第一次打开会需要创建管理员账号
进入之后界面与 ChatGPT 有点相似
和 DeepSeek 模型对话,这个14b的模型就感觉效果已经不错了,如果完整版模型就更好,真的未来可期啊!
后记#
据说 DeepSeek 的代码能力很强,可惜现在官网的 API 服务进不去。
下一篇文章我来试试拿本地部署的 DeepSeek 来写代码,看看效果如何。
参考资料#
2025-02-21 09:20:37【出处】:https://www.cnblogs.com/deali/p/18695132
=======================================================================================
数据不出内网:基于Ollama+OneAPI构建企业专属DeepSeek智能中台
前言#
之前已经在Linux服务器上使用Ollama部署了DeepSeek
这次在没有外网(应该说是被限制比较多)的服务器上部署,遇到一些坑,记录一下
ollama#
ollama 自然无法使用在线安装脚本了
根据 ollama 的文档
先在本地电脑根据服务器的系统和CPU架构下载安装包
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
然后使用 scp 等工具上传到服务器
scp ollama-linux-amd64.tgz 服务器地址:/temp
连接到服务器上后解压安装,跟着 ollama 文档来就行(见第一个参考资料)
sudo tar -C /usr -xzf ollama-linux-amd64.tgz
这时候已经能执行 ollama 程序了
ollama serve
然后再添加到服务,这也是 ollama 官方推荐的做法,方便管理
sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)
在 /etc/systemd/system 下新建 ollama.service 文件
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"
[Install]
WantedBy=default.target
然后启用服务
sudo systemctl daemon-reload
sudo systemctl enable ollama
到这里 ollama 的安装就搞定了
模型部署#
离线服务器是无法使用 ollama pull 拉取模型的
需要先在本地下载,可以在本地的电脑上执行 ollama pull 的操作
然后把模型文件找到并上传到服务器
大概思路就是这样,具体的接下来介绍
找到本地模型文件#
如果没有特别配置,ollama 默认的模型文件都在 ~/.ollama/models/blobs
里
先执行命令看看指定模型的路径,比如说要找 deepseek-r1:32b 模型
ollama show deepseek-r1:32b --modelfile
执行命令后的输出(节选)
FROM C:\Users\deali\.ollama\models\blobs\sha256-96c415656d377afbff962f6cdb2394ab092ccbcbaab4b82525bc4ca800fe8a49
TEMPLATE """{{- if .System }}{{ .System }}{{ end }}
{{- range $i, $_ := .Messages }}
{{- $last := eq (len (slice $.Messages $i)) 1}}
{{- if eq .Role "user" }}<|User|>{{ .Content }}
{{- else if eq .Role "assistant" }}<|Assistant|>{{ .Content }}{{- if not $last }}<|end▁of▁sentence|>{{- end }}
{{- end }}
{{- if and $last (ne .Role "assistant") }}<|Assistant|>{{- end }}
{{- end }}"""
PARAMETER stop <|begin▁of▁sentence|>
PARAMETER stop <|end▁of▁sentence|>
PARAMETER stop <|User|>
PARAMETER stop <|Assistant|>
可以看到这一行
FROM C:\Users\deali\.ollama\models\blobs\sha256-96c415656d377afbff962f6cdb2394ab092ccbcbaab4b82525bc4ca800fe8a49
就是 ollama 下载到本地的模型的路径
把这个文件上传到服务器
导出Modelfile#
这个文件格式类似 Dockerfile
使用以下命令导出
ollama show deepseek-r1:32b --modelfile > Modelfile
然后这个文件也要上传到服务器上
服务器上导入模型#
模型文件和 Modelfile 上传之后,放在同一个目录下
先重命名一下,方便后续导入
mv sha256-96c415656d377afbff962f6cdb2394ab092ccbcbaab4b82525bc4ca800fe8a49 deepseek-r1_32b.gguf
接着编辑一下 Modelfile 文件,把 FROM 这一行改成,也就是刚才修改之后的模型文件名称
FROM ./deepseek-r1_32b.gguf
然后执行以下命令导入
ollama create deepseek-r1:32b -f Modelfile
如无意外就导入成功了,可以执行 ollama list
来查看是否已导入。
one-api#
One API 是一款开源的 LLM(大语言模型)API 管理与分发系统,旨在通过标准的 OpenAI API 格式,统一访问多种大模型,开箱即用。 它支持多种主流大模型,包括 OpenAI ChatGPT 系列、Anthropic Claude 系列、Google PaLM2/Gemini 系列、Mistral 系列、字节跳动豆包大模型、百度文心一言系列模型、阿里通义千问系列模型、讯飞星火认知大模型、智谱 ChatGLM 系列模型、腾讯混元大模型等。
docker部署#
one-api是用go的gin框架开发的,部署很容易,我一般用docker部署,这块不再赘述
services:
db:
image: mysql:8.1.0
container_name: mysql
restart: always
environment:
MYSQL_ROOT_PASSWORD: mysql-password
volumes:
- ./data:/var/lib/mysql
one-api:
image: justsong/one-api
container_name: one-api
restart: always
ports:
- "3000:3000"
depends:
- db
environment:
- SQL_DSN=root:mysql-password@tcp(db:3306)/one_api
- TZ=Asia/Shanghai
- TIKTOKEN_CACHE_DIR=/TIKTOKEN_CACHE_DIR
volumes:
- ./data:/data
- ./TIKTOKEN_CACHE_DIR:/TIKTOKEN_CACHE_DIR
networks:
default:
name: one-api
解决 tiktoken 问题#
遇到的问题是它依赖了 tiktoken 这个库,tiktoken 需要联网下载 token encoder
解决方法是看错误日志,比如
one-api | [FATAL] 2025/02/17 - 10:47:21 | relay/adaptor/openai/token.go:26 [InitTokenEncoders] failed to get gpt-3.5-turbo token encoder: Get "https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken": dial tcp 57.150.97.129:443: i/o timeout, if you are using in offline environment, please set TIKTOKEN_CACHE_DIR to use exsited files
这里需要从 https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken 下载
我们先在本地下载这个文件,然后上传到服务器
但这时还不行
tiktoken 只认 URL 的 SHA-1
生成 SHA-1
TIKTOKEN_URL=https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken
echo -n $TIKTOKEN_URL | sha1sum | head -c 40
也可以合成一行命令
echo -n "https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken" | sha1sum | head -c 40
在这行命令中,echo -n
用于输出指定的 URL 字符串(其 -n
参数的作用是禁止在输出的末尾添加换行符),sha1sum
计算其 SHA-1 哈希值,head -c 40
截取前 40 个字符,即哈希值的前 40 位。
执行结果是
9b5ad71b2ce5302211f9c61530b329a4922fc6a4
然后把 cl100k_base.tiktoken 文件重命名为输出的 9b5ad71b2ce5302211f9c61530b329a4922fc6a4
在前面的 docker-compose.yaml 里,我们已经指定了 TIKTOKEN_CACHE_DIR 环境变量
然后把这个 9b5ad71b2ce5302211f9c61530b329a4922fc6a4 文件放在 TIKTOKEN_CACHE_DIR 目录里即可。
后续还有遇到类似报错,重复以上操作,直到没有报错为止。
我目前使用的版本只下载了两个 encoder
在OneApi中添加Ollama渠道#
这里因为docker网络的问题会有些麻烦
有多种思路,一种是让OneApi的容器跑在 host 网络模式下
一种是使用 host.docker.internal 这个地址
当然前提都是 ollama 的 host 设置为 0.0.0.0
,这个配置可以参考我之前的这篇文章: LLM探索:本地部署DeepSeek-R1模型
在添加渠道的时候,类型选择 Ollama
自定义模型部分填入我们部署的 deepseek-r1:32b
然后代理填写 http://host.docker.internal:11434
注意:在 Linux 环境中,host.docker.internal
可能无法工作,但你可以直接使用宿主机的 IP 地址。例如,如果宿主机的 IP 地址是 192.168.1.100
,可以在OneApi中使用 http://192.168.1.100:11434
来访问 Ollama 服务。
参考资料#
2025-02-21 09:21:24【出处】:https://www.cnblogs.com/deali/p/18722239
=======================================================================================
关注我】。(●'◡'●)
如果,您希望更容易地发现我的新博客,不妨点击一下绿色通道的【因为,我的写作热情也离不开您的肯定与支持,感谢您的阅读,我是【Jack_孟】!
本文来自博客园,作者:jack_Meng,转载请注明原文链接:https://www.cnblogs.com/mq0036/p/18728269
【免责声明】本文来自源于网络,如涉及版权或侵权问题,请及时联系我们,我们将第一时间删除或更改!
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· DeepSeek “源神”启动!「GitHub 热点速览」
· C# 集成 DeepSeek 模型实现 AI 私有化(本地部署与 API 调用教程)
· DeepSeek R1 简明指南:架构、训练、本地部署及硬件要求
· NetPad:一个.NET开源、跨平台的C#编辑器
2023-02-21 IL方式拦截类库--Harmony类库
2022-02-21 robocopy命令简介
2022-02-21 聊聊日报设计——日报怎么写,日报有何用?
2022-02-21 技术管理进阶——谁能成为Leader,大Leader该做什么
2022-02-21 什么是项目管理,如何做好项目管理?
2022-02-21 JavaScript函数式编程(纯函数、柯里化以及组合函数)
2020-02-21 WPF编程学习——样式