秋·风

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::
  273 随笔 :: 0 文章 :: 302 评论 :: 19万 阅读
< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

借助ollama的脚本安装DeepSeek变得轻而易举,这是一个免费的开源工具,任何人都可以在自己的计算机上运行大型语言模型 (LLM)。

2025-02-19:
经试用发现,如果以代码编写为主,建议安装deepseek-coder-v2(8.9GB),电脑内存建议用16GB),速度比较快。

ollama run deepseek-coder-v2


注意:在虚拟机安装(下载相当慢)过程时间挺长的,我用了接近一天才安装好。
虚拟机的配置:


DeepSeek R1本地部署的要求会根据你选择的模型版本(如1.5B、7B、8B、14B、32B、70B等)有所不同,根据自己的硬件选择相应模型的版本就可以,以下是推荐配置:
硬件要求
CPU‌:

  • 1.5B版本:最低4核(推荐Intel/AMD多核处理器)
  • 7B版本:8核以上
  • 8B版本:与7B相近,略高10-20%
  • 14B版本:12核以上
  • 32B版本:16核以上(如AMD Ryzen 9或Intel i9)
  • 70B版本:32核以上

‌内存‌:

  • 1.5B版本:8GB+
  • 7B版本:16GB+
  • 8B版本:与7B相近
  • 14B版本:32GB+
  • 32B版本:64GB+
  • 70B版本:128GB+

‌硬盘‌:

  • 1.5B版本:3GB+存储空间(模型文件约1.5-2GB)
  • 7B版本:8GB+(模型文件约4-5GB)
  • 8B版本:与7B相近,略高
  • 14B版本:15GB+
  • 32B版本:30GB+
  • 70B版本:70GB+

‌显卡‌:

  • 1.5B版本:非必需(纯CPU推理),若GPU加速可选4GB+显存(如GTX 1650)
  • 7B版本:推荐8GB+显存(如RTX 3070/4060)
  • 8B版本:与7B相近
  • 14B版本:16GB+显存(如RTX 4090或A5000)
  • 32B版本:24GB+显存(如A100 40GB或双卡RTX 3090)
  • 70B版本:多卡并行(如2x A100 80GB或4x RTX 4090)


以下是详细的部署步骤:

1. 打开终端并确保您的 Linux 正在运行最新的软件。

sudo apt update
sudo apt upgrade

2. 下载并安装ollama安装脚本。如果没安装curl,请先安装(sudo apt install curl)再执行如下命令:

curl -fsSL https://ollama.com/install.sh | sh

3. 验证ollama是否安装成功,最简单是检查版本号。我安装的版本是 0.5.11,您安装的版本可能会有所不同。

ollama --version

4. 下载并运行 DeepSeek-r1:8b(这个模型4.9GB)。这是一个蒸馏的 Llama 模型。

ollama run deepseek-r1:8b

5. 等待下载和安装完成。第一次使用可能需要较长时间,但后续加载很快。

6. 用户界面很简单,只需输入请求/查询,LLM 就会解释和响应。

7. 完成后,您可以按 CTRL + D 或按Ctrl + Z 键,还可以输入/bye+回车关闭会话。

ollama模型下载后存放位置

1)Windows系统

在Windows系统中,Ollama下载的模型文件默认存放在用户文件夹下的特定目录中。具体来说,默认路径通常为:C:\Users\<用户名>\.ollama\models

其中,<用户名>指的是当前Windows系统的登录用户名。例如,如果系统登录用户名为“Smqnz”,则模型文件的默认存储路径可能是C:\Users\Smqnz\.ollama\models\manifests\registry.ollama.ai

2)Linux系统:

在Linux系统中,Ollama模型的默认存放路径可能因安装方式和发行版的不同而有所差异,但常见的路径为:/usr/share/ollama/.ollama/models

3)macOS系统:

在macOS系统中,Ollama模型的默认存放路径为:~/.ollama/models

这里的波浪线(~)代表当前用户的家目录。

 

 安装好后测试还可以:

 下面是安装全过程:

复制代码
lbz@lbz-VMware-Virtual-Platform:~/桌面$ curl -fsSL https://ollama.com/install.sh | sh
找不到命令 “curl”,但可以通过以下软件包安装它:
sudo snap install curl  # version 8.12.0, or
sudo apt  install curl  # version 8.9.1-2ubuntu2
输入 “snap info curl” 以查看更多版本。
lbz@lbz-VMware-Virtual-Platform:~/桌面$ sudo apt install curt
[sudo] lbz 的密码: 
Error: 无法定位软件包 curt                     
lbz@lbz-VMware-Virtual-Platform:~/桌面$ sudo apt install curl
将要安装:                                     
  curl

摘要:
  升级:0,安装:1,卸载:0,不升级:0
  下载大小:240 kB
  所需的空间:593 kB / 15.3 GB 可用

获取:1 http://archive.ubuntu.com/ubuntu oracular-updates/main amd64 curl amd64 8.9.1-2ubuntu2.2 [240 kB]
已下载 240 kB,耗时 2秒 (96.9 kB/s)
正在选中未选择的软件包 curl。
(正在读取数据库 ... 系统当前共安装有 200150 个文件和目录。)
准备解压 .../curl_8.9.1-2ubuntu2.2_amd64.deb  ...
正在解压 curl (8.9.1-2ubuntu2.2) ...
正在设置 curl (8.9.1-2ubuntu2.2) ...
正在处理用于 man-db (2.12.1-3) 的触发器 ...
lbz@lbz-VMware-Virtual-Platform:~/桌面$ curl -fsSL https://ollama.com/install.sh | sh
>>> Installing ollama to /usr/local
>>> Downloading Linux amd64 bundle
-=O=-         #    #     #     #                                               curl: (56) OpenSSL SSL_read: SSL_ERROR_SYSCALL, errno 0


gzip: stdin: unexpected end of file
tar: Child returned status 1
tar: Error is not recoverable: exiting now
lbz@lbz-VMware-Virtual-Platform:~/桌面$ sudo apt install openssl
openssl 已经是最新版 (3.3.1-2ubuntu2.1)。      
openssl 已设置为手动安装。
摘要:
  升级:0,安装:0,卸载:0,不升级:0
lbz@lbz-VMware-Virtual-Platform:~/桌面$ curl -fsSL https://ollama.com/install.sh | sh
>>> Installing ollama to /usr/local
>>> Downloading Linux amd64 bundle
#######################                                                   32.5%curl: (56) Recv failure: 连接被对方重置


gzip: stdin: unexpected end of file
tar: 归档文件中异常的 EOF
tar: 归档文件中异常的 EOF
tar: Error is not recoverable: exiting now
lbz@lbz-VMware-Virtual-Platform:~/桌面$ curl -fsSL https://ollama.com/install.sh | sh
>>> Cleaning up old version at /usr/local/lib/ollama
[sudo] lbz 的密码: 
对不起,请重试。
[sudo] lbz 的密码: 
>>> Installing ollama to /usr/local
>>> Downloading Linux amd64 bundle
###########                                                               16.1%^C
lbz@lbz-VMware-Virtual-Platform:~/桌面$ curl -fsSL https://ollama.com/install.sh | sh
>>> Cleaning up old version at /usr/local/lib/ollama
[sudo] lbz 的密码: 
>>> Installing ollama to /usr/local
>>> Downloading Linux amd64 bundle
######################################################################## 100.0%
>>> Creating ollama user...
[sudo] lbz 的密码: 
>>> Adding ollama user to render group...
>>> Adding ollama user to video group...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
>>> Enabling and starting ollama service...
Created symlink '/etc/systemd/system/default.target.wants/ollama.service' → '/etc/systemd/system/ollama.service'.
>>> The Ollama API is now available at 127.0.0.1:11434.
>>> Install complete. Run "ollama" from the command line.
WARNING: No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode.
lbz@lbz-VMware-Virtual-Platform:~/桌面$ 200~ollama --version
200~ollama:未找到命令
lbz@lbz-VMware-Virtual-Platform:~/桌面$ ollama --version
ollama version is 0.5.11
lbz@lbz-VMware-Virtual-Platform:~/桌面$ ollama run deepseek-r1:8b
pulling manifest 
pulling manifest 
pulling 6340dc3229b0... 100% ▕████████████████▏ 4.9 GB                         
pulling 369ca498f347... 100% ▕████████████████▏  387 B                         
pulling 6e4c38e1172f... 100% ▕████████████████▏ 1.1 KB                         
pulling f4d24e9138dd... 100% ▕████████████████▏  148 B                         
pulling 0cb05c6e4e02... 100% ▕████████████████▏  487 B                         
verifying sha256 digest 
writing manifest 
success 
>>> 在本地部署DeepSeek(Linux) 
<think>
嗯,用户想在本地部署DeepSeek在Linux环境下,这可能是一个开发者或者研究人员的
需求。首先,我应该确认他们是否有足够的技术背景,如果不清楚,可能需要更详细的
步骤说明。

接下来,我得考虑依赖项,比如Python、CUDA和TensorFlow或者PyTorch。这一步很重
要,因为安装这些库是成功部署的关键。我还要注意如果用户使用的是不同的框架,可
能需要对应的版本支持。

然后,clone仓库这一步相对直接,但有时候用户可能会遇到权限问题或者克隆错误,
我应该提醒他们检查命令是否正确,比如是否用了https而不是ssh。

安装依赖项的时候,要特别注意不同系统可能有的差异,比如一些包管理器的版本问题
,或者CUDA的驱动问题。此外,用户可能需要处理环境变量的问题,比如PATH和
LD_LIBRARY_PATH,这对他们来说可能是个难点,所以我应该详细说明^[^A如何设置这些变
量。

配置环境变量这一部分,如果用户之前没有在深度学习项目中工作过,可能会不太熟悉
,比如PYTHONPATH的设置是否正确。还有,DeepSeek可能有特定的版本要求,我得提醒
他们检查最新的文档,看看是否需要特定的Python或CUDA版本。

运行训练脚本部分,用户可能对命令行参数和数据路径不太熟悉,所以我要给出示例,
帮助他们正确执行。比如,如何处理输入图像和预训练模型文件,这一步可能会让用户
卡住,所以详细说明很重要。

测试部署的部分,用户可能想确认整个系统是否正常运行,可以通过简单的推理任务来
验证,比如加载一个预 trained model进行预测,看看输出是否符合预期。

最后,遇到问题时,我应该提供常见问题和解决方法,比如依赖项安装失败、环境变量
设置错误或者内存不足,这些都是用户可能会遇到的难点。另外,如果有更多细节需求
,可以引导他们查看文档或仓库的readme文件。

总体来说,我的思考过程需要逐步引导用户完成部署流程,同时提供足够的细节和注意
事项,以确保他们能够顺利地在本地运行DeepSeek。
</think>

在本地部署DeepSeek(Linux)可能涉及多个步骤,具体操作取决于你的硬件配置、依
赖库以及你选择使用的框架(如TensorFlow、PyTorch等)。以下是一些常见的步骤和
注意事项:

### 1. 安装所需软件和依赖

#### a. 安装Python
首先安装Python,建议使用Python 3.8及以上版本:
```bash
sudo apt-get update && sudo apt-get install python=3.10 python-dev
```
或者,如果你选择使用PyTorch或TensorFlow,可以根据项目需求选择合适的版本。

#### b. 安装CUDA(可选)
如果你打算在本地运行DeepSeek并且需要加速计算(例如使用GPU),则需要安装
NVIDIA的CUDA工具和驱动程序。以下是常见的安装步骤:

1. 安装 CUDA 工具包:
```bash
sudo apt-get install nvidia-cuda-toolkit-6-*
```
2. 添加CUDA路径到环境变量中:
```bash
export PATH=/usr/local/bin:$PATH
```

#### c. 安装依赖的Python库
根据DeepSeek的文档,可能需要安装一些特定的Python库,如PyTorch、TensorFlow等
。例如,如果你使用PyTorch:
```bash
pip install torch torchvision torchaudio --extra-index-url 
https://download.pytorch.org/whl/cu117
``^A`

### 2. 克隆DeepSeek仓库

获取最新的代码仓库:
```bash
git clone https://github.com/DeepSeek-Launcher/DeepSeek.git
```
进入项目目录:
```bash
cd DeepSeek
```

### 3. 安装依赖项(根据文档)

查看项目文档,确认是否需要安装其他特定的库或工具。例如,如果你使用了
TensorFlow,可能需要安装TF2.x 或 TF1.x 等版本。

### 4. 设置环境变量

在Linux中,你可以在命令行中设置环境变量,或者在脚本中进行配置。

#### a. Python路径
添加Python的安装路径到PYTHONPATH:
```bash
export PYTHONPATH="/usr/lib/python3.10:$PYTHONPATH"
```

#### b. CUDA和库路径
确保CUDA库和其他依赖库可以被正确加载。例如,在某些项目中,你可能需要设置
LD_LIBRARY_PATH:
```bash
export LD_LIBRARY_PATH=/usr/local/nvidia/lib:$LD_LIBRARY_PATH
```

### 5. 运行训练脚本

根据你的需求运行相应的训练脚本,通常在`train.py` 或 `main.py` 中调用。例如,
如果你有输入数据和预训练模型文件:
```bash
python train.py --input data/path --pretrained model.pth
```
(具体命令取决于项目文档中的说明)

### 6. 测试部署

完成上述步骤后,你可以运行一个简单的测试来确认DeepSeek是否在本地环境中正确运
行。例如,可以加载一个预训练模型并进行推理:
```python
import model
model = Model.load('path_to_pretrained_model')
input_image = load_image('image/path.jpg')
output = model.predict(input_image)
print(output)
```

### 7. 常见问题及解决方法

如果在部署过程中遇到问题,可以参考以下常见问题和解决方法:

#### a. 依赖项安装失败
- 检查包名是否正确。
- 确保所有依赖库的版本与项目要求一致。

#### b. 环境变量设置错误
- 如果在运行脚本时遇到模块NotFoundError,检查PYTHONPATH和LD_LIBRARY_PATH是否
正确设置。

#### c. 内存不足
- 确保硬盘有足够的空间来支持训练或推理过程。
- 调整模型大小或使用更高效的硬件配置。

### 8. 获取更多帮助

如果你在部署过程中遇到问题,可以参考以下资源:

#### a. 项目文档
查看DeepSeek项目的官方文档,获取详细的安装和运行说明。

#### b. 社区支持
在社区论坛或开发者讨论组中寻求帮助。

#### c. GitHub仓库
访问GitHub仓库,查找常见问题和解决方案。

通过以上步骤,你应该能够在本地成功部署并运行DeepSeek。确保遵循项目文档中的具
体要求,并根据你的硬件配置调整参数设置。

>>> 
Use Ctrl + d or /bye to exit.
>>> Send a message (/? for help)
复制代码

 

posted on   秋·风  阅读(1020)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· C# 集成 DeepSeek 模型实现 AI 私有化(本地部署与 API 调用教程)
· spring官宣接入deepseek,真的太香了~
点击右上角即可分享
微信分享提示