借助ollama的脚本安装DeepSeek变得轻而易举,这是一个免费的开源工具,任何人都可以在自己的计算机上运行大型语言模型 (LLM)。
2025-02-19:
经试用发现,如果以代码编写为主,建议安装deepseek-coder-v2(8.9GB),电脑内存建议用16GB),速度比较快。
ollama run deepseek-coder-v2
注意:在虚拟机安装(下载相当慢)过程时间挺长的,我用了接近一天才安装好。
虚拟机的配置:
DeepSeek R1本地部署的要求会根据你选择的模型版本(如1.5B、7B、8B、14B、32B、70B等)有所不同,根据自己的硬件选择相应模型的版本就可以,以下是推荐配置:
硬件要求
CPU:
- 1.5B版本:最低4核(推荐Intel/AMD多核处理器)
- 7B版本:8核以上
- 8B版本:与7B相近,略高10-20%
- 14B版本:12核以上
- 32B版本:16核以上(如AMD Ryzen 9或Intel i9)
- 70B版本:32核以上
内存:
- 1.5B版本:8GB+
- 7B版本:16GB+
- 8B版本:与7B相近
- 14B版本:32GB+
- 32B版本:64GB+
- 70B版本:128GB+
硬盘:
- 1.5B版本:3GB+存储空间(模型文件约1.5-2GB)
- 7B版本:8GB+(模型文件约4-5GB)
- 8B版本:与7B相近,略高
- 14B版本:15GB+
- 32B版本:30GB+
- 70B版本:70GB+
显卡:
- 1.5B版本:非必需(纯CPU推理),若GPU加速可选4GB+显存(如GTX 1650)
- 7B版本:推荐8GB+显存(如RTX 3070/4060)
- 8B版本:与7B相近
- 14B版本:16GB+显存(如RTX 4090或A5000)
- 32B版本:24GB+显存(如A100 40GB或双卡RTX 3090)
- 70B版本:多卡并行(如2x A100 80GB或4x RTX 4090)
以下是详细的部署步骤:
1. 打开终端并确保您的 Linux 正在运行最新的软件。
sudo apt update
sudo apt upgrade
2. 下载并安装ollama安装脚本。如果没安装curl,请先安装(sudo apt install curl)再执行如下命令:
curl -fsSL https://ollama.com/install.sh | sh
3. 验证ollama是否安装成功,最简单是检查版本号。我安装的版本是 0.5.11,您安装的版本可能会有所不同。
ollama --version
4. 下载并运行 DeepSeek-r1:8b(这个模型4.9GB)。这是一个蒸馏的 Llama 模型。
ollama run deepseek-r1:8b
5. 等待下载和安装完成。第一次使用可能需要较长时间,但后续加载很快。
6. 用户界面很简单,只需输入请求/查询,LLM 就会解释和响应。
7. 完成后,您可以按 CTRL + D 或按Ctrl + Z 键,还可以输入/bye+回车关闭会话。
ollama模型下载后存放位置
1)Windows系统
在Windows系统中,Ollama下载的模型文件默认存放在用户文件夹下的特定目录中。具体来说,默认路径通常为:C:\Users\<用户名>\.ollama\models
其中,<用户名>
指的是当前Windows系统的登录用户名。例如,如果系统登录用户名为“Smqnz”,则模型文件的默认存储路径可能是C:\Users\Smqnz\.ollama\models\manifests\registry.ollama.ai
。
2)Linux系统:
在Linux系统中,Ollama模型的默认存放路径可能因安装方式和发行版的不同而有所差异,但常见的路径为:/usr/share/ollama/.ollama/models
3)macOS系统:
在macOS系统中,Ollama模型的默认存放路径为:~/.ollama/models
这里的波浪线(~
)代表当前用户的家目录。
安装好后测试还可以:
下面是安装全过程:
lbz@lbz-VMware-Virtual-Platform:~/桌面$ curl -fsSL https://ollama.com/install.sh | sh 找不到命令 “curl”,但可以通过以下软件包安装它: sudo snap install curl # version 8.12.0, or sudo apt install curl # version 8.9.1-2ubuntu2 输入 “snap info curl” 以查看更多版本。 lbz@lbz-VMware-Virtual-Platform:~/桌面$ sudo apt install curt [sudo] lbz 的密码: Error: 无法定位软件包 curt lbz@lbz-VMware-Virtual-Platform:~/桌面$ sudo apt install curl 将要安装: curl 摘要: 升级:0,安装:1,卸载:0,不升级:0 下载大小:240 kB 所需的空间:593 kB / 15.3 GB 可用 获取:1 http://archive.ubuntu.com/ubuntu oracular-updates/main amd64 curl amd64 8.9.1-2ubuntu2.2 [240 kB] 已下载 240 kB,耗时 2秒 (96.9 kB/s) 正在选中未选择的软件包 curl。 (正在读取数据库 ... 系统当前共安装有 200150 个文件和目录。) 准备解压 .../curl_8.9.1-2ubuntu2.2_amd64.deb ... 正在解压 curl (8.9.1-2ubuntu2.2) ... 正在设置 curl (8.9.1-2ubuntu2.2) ... 正在处理用于 man-db (2.12.1-3) 的触发器 ... lbz@lbz-VMware-Virtual-Platform:~/桌面$ curl -fsSL https://ollama.com/install.sh | sh >>> Installing ollama to /usr/local >>> Downloading Linux amd64 bundle -=O=- # # # # curl: (56) OpenSSL SSL_read: SSL_ERROR_SYSCALL, errno 0 gzip: stdin: unexpected end of file tar: Child returned status 1 tar: Error is not recoverable: exiting now lbz@lbz-VMware-Virtual-Platform:~/桌面$ sudo apt install openssl openssl 已经是最新版 (3.3.1-2ubuntu2.1)。 openssl 已设置为手动安装。 摘要: 升级:0,安装:0,卸载:0,不升级:0 lbz@lbz-VMware-Virtual-Platform:~/桌面$ curl -fsSL https://ollama.com/install.sh | sh >>> Installing ollama to /usr/local >>> Downloading Linux amd64 bundle ####################### 32.5%curl: (56) Recv failure: 连接被对方重置 gzip: stdin: unexpected end of file tar: 归档文件中异常的 EOF tar: 归档文件中异常的 EOF tar: Error is not recoverable: exiting now lbz@lbz-VMware-Virtual-Platform:~/桌面$ curl -fsSL https://ollama.com/install.sh | sh >>> Cleaning up old version at /usr/local/lib/ollama [sudo] lbz 的密码: 对不起,请重试。 [sudo] lbz 的密码: >>> Installing ollama to /usr/local >>> Downloading Linux amd64 bundle ########### 16.1%^C lbz@lbz-VMware-Virtual-Platform:~/桌面$ curl -fsSL https://ollama.com/install.sh | sh >>> Cleaning up old version at /usr/local/lib/ollama [sudo] lbz 的密码: >>> Installing ollama to /usr/local >>> Downloading Linux amd64 bundle ######################################################################## 100.0% >>> Creating ollama user... [sudo] lbz 的密码: >>> Adding ollama user to render group... >>> Adding ollama user to video group... >>> Adding current user to ollama group... >>> Creating ollama systemd service... >>> Enabling and starting ollama service... Created symlink '/etc/systemd/system/default.target.wants/ollama.service' → '/etc/systemd/system/ollama.service'. >>> The Ollama API is now available at 127.0.0.1:11434. >>> Install complete. Run "ollama" from the command line. WARNING: No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode. lbz@lbz-VMware-Virtual-Platform:~/桌面$ 200~ollama --version 200~ollama:未找到命令 lbz@lbz-VMware-Virtual-Platform:~/桌面$ ollama --version ollama version is 0.5.11 lbz@lbz-VMware-Virtual-Platform:~/桌面$ ollama run deepseek-r1:8b pulling manifest pulling manifest pulling 6340dc3229b0... 100% ▕████████████████▏ 4.9 GB pulling 369ca498f347... 100% ▕████████████████▏ 387 B pulling 6e4c38e1172f... 100% ▕████████████████▏ 1.1 KB pulling f4d24e9138dd... 100% ▕████████████████▏ 148 B pulling 0cb05c6e4e02... 100% ▕████████████████▏ 487 B verifying sha256 digest writing manifest success >>> 在本地部署DeepSeek(Linux) <think> 嗯,用户想在本地部署DeepSeek在Linux环境下,这可能是一个开发者或者研究人员的 需求。首先,我应该确认他们是否有足够的技术背景,如果不清楚,可能需要更详细的 步骤说明。 接下来,我得考虑依赖项,比如Python、CUDA和TensorFlow或者PyTorch。这一步很重 要,因为安装这些库是成功部署的关键。我还要注意如果用户使用的是不同的框架,可 能需要对应的版本支持。 然后,clone仓库这一步相对直接,但有时候用户可能会遇到权限问题或者克隆错误, 我应该提醒他们检查命令是否正确,比如是否用了https而不是ssh。 安装依赖项的时候,要特别注意不同系统可能有的差异,比如一些包管理器的版本问题 ,或者CUDA的驱动问题。此外,用户可能需要处理环境变量的问题,比如PATH和 LD_LIBRARY_PATH,这对他们来说可能是个难点,所以我应该详细说明^[^A如何设置这些变 量。 配置环境变量这一部分,如果用户之前没有在深度学习项目中工作过,可能会不太熟悉 ,比如PYTHONPATH的设置是否正确。还有,DeepSeek可能有特定的版本要求,我得提醒 他们检查最新的文档,看看是否需要特定的Python或CUDA版本。 运行训练脚本部分,用户可能对命令行参数和数据路径不太熟悉,所以我要给出示例, 帮助他们正确执行。比如,如何处理输入图像和预训练模型文件,这一步可能会让用户 卡住,所以详细说明很重要。 测试部署的部分,用户可能想确认整个系统是否正常运行,可以通过简单的推理任务来 验证,比如加载一个预 trained model进行预测,看看输出是否符合预期。 最后,遇到问题时,我应该提供常见问题和解决方法,比如依赖项安装失败、环境变量 设置错误或者内存不足,这些都是用户可能会遇到的难点。另外,如果有更多细节需求 ,可以引导他们查看文档或仓库的readme文件。 总体来说,我的思考过程需要逐步引导用户完成部署流程,同时提供足够的细节和注意 事项,以确保他们能够顺利地在本地运行DeepSeek。 </think> 在本地部署DeepSeek(Linux)可能涉及多个步骤,具体操作取决于你的硬件配置、依 赖库以及你选择使用的框架(如TensorFlow、PyTorch等)。以下是一些常见的步骤和 注意事项: ### 1. 安装所需软件和依赖 #### a. 安装Python 首先安装Python,建议使用Python 3.8及以上版本: ```bash sudo apt-get update && sudo apt-get install python=3.10 python-dev ``` 或者,如果你选择使用PyTorch或TensorFlow,可以根据项目需求选择合适的版本。 #### b. 安装CUDA(可选) 如果你打算在本地运行DeepSeek并且需要加速计算(例如使用GPU),则需要安装 NVIDIA的CUDA工具和驱动程序。以下是常见的安装步骤: 1. 安装 CUDA 工具包: ```bash sudo apt-get install nvidia-cuda-toolkit-6-* ``` 2. 添加CUDA路径到环境变量中: ```bash export PATH=/usr/local/bin:$PATH ``` #### c. 安装依赖的Python库 根据DeepSeek的文档,可能需要安装一些特定的Python库,如PyTorch、TensorFlow等 。例如,如果你使用PyTorch: ```bash pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117 ``^A` ### 2. 克隆DeepSeek仓库 获取最新的代码仓库: ```bash git clone https://github.com/DeepSeek-Launcher/DeepSeek.git ``` 进入项目目录: ```bash cd DeepSeek ``` ### 3. 安装依赖项(根据文档) 查看项目文档,确认是否需要安装其他特定的库或工具。例如,如果你使用了 TensorFlow,可能需要安装TF2.x 或 TF1.x 等版本。 ### 4. 设置环境变量 在Linux中,你可以在命令行中设置环境变量,或者在脚本中进行配置。 #### a. Python路径 添加Python的安装路径到PYTHONPATH: ```bash export PYTHONPATH="/usr/lib/python3.10:$PYTHONPATH" ``` #### b. CUDA和库路径 确保CUDA库和其他依赖库可以被正确加载。例如,在某些项目中,你可能需要设置 LD_LIBRARY_PATH: ```bash export LD_LIBRARY_PATH=/usr/local/nvidia/lib:$LD_LIBRARY_PATH ``` ### 5. 运行训练脚本 根据你的需求运行相应的训练脚本,通常在`train.py` 或 `main.py` 中调用。例如, 如果你有输入数据和预训练模型文件: ```bash python train.py --input data/path --pretrained model.pth ``` (具体命令取决于项目文档中的说明) ### 6. 测试部署 完成上述步骤后,你可以运行一个简单的测试来确认DeepSeek是否在本地环境中正确运 行。例如,可以加载一个预训练模型并进行推理: ```python import model model = Model.load('path_to_pretrained_model') input_image = load_image('image/path.jpg') output = model.predict(input_image) print(output) ``` ### 7. 常见问题及解决方法 如果在部署过程中遇到问题,可以参考以下常见问题和解决方法: #### a. 依赖项安装失败 - 检查包名是否正确。 - 确保所有依赖库的版本与项目要求一致。 #### b. 环境变量设置错误 - 如果在运行脚本时遇到模块NotFoundError,检查PYTHONPATH和LD_LIBRARY_PATH是否 正确设置。 #### c. 内存不足 - 确保硬盘有足够的空间来支持训练或推理过程。 - 调整模型大小或使用更高效的硬件配置。 ### 8. 获取更多帮助 如果你在部署过程中遇到问题,可以参考以下资源: #### a. 项目文档 查看DeepSeek项目的官方文档,获取详细的安装和运行说明。 #### b. 社区支持 在社区论坛或开发者讨论组中寻求帮助。 #### c. GitHub仓库 访问GitHub仓库,查找常见问题和解决方案。 通过以上步骤,你应该能够在本地成功部署并运行DeepSeek。确保遵循项目文档中的具 体要求,并根据你的硬件配置调整参数设置。 >>> Use Ctrl + d or /bye to exit. >>> Send a message (/? for help)
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· C# 集成 DeepSeek 模型实现 AI 私有化(本地部署与 API 调用教程)
· spring官宣接入deepseek,真的太香了~