AI大模型完全本地化部署指南——从零硬件开始

本文将从基础硬件购置开始讲起,真正意义上从零开始,最终通过Ollama、LangChain、DeepSeek的一系列交互,输出本地大模型的第一声啼鸣,带你走进另一片广阔的世界。update:2025-02-23

硬件方面

主板选型:

主机组装:

P40显卡拆解,改散热:

kali显卡驱动安装

软件方面

ollama服务端配置

ollama安装没什么难度,建议直接参考官网https://ollama.com,根据安装提示一直按下一步即可,安装模型命令是ollama pull 模型名称

ollama服务端执行export OLLAMA_HOST=0.0.0.0:11434;ollama serve ;开启外部网络访问支持。启动后可执行ollam list查看本地已部署模型信息,以下是我之前安装过的。

conda虚拟环境部署

软件环境部署:

  conda create -n LangChainP312 python==3.12
  conda activate LangChainP312
  pip install --upgrade langchain
  pip install --upgrade langchain-ollama

开发工具vs code,官网是https://code.visualstudio.com/Download,ubuntu系列linux执行sudo dpkg -i xxx.deb即可,windows安装步骤仍是各种下一步下一步,最后左侧安装一下python代码支持。

然后新建一个py文档开始写代码,注意和conda环境关联方法: 快捷键CTRL SHIFT P选择interpreter,指定conda环境LangChainP312。

客户端langchain代码编写

from langchain_ollama import OllamaLLM

#更多参数配置,可以在OllamaLLM函数名位置右键或者F12跳转到源码位置
model = OllamaLLM(model="deepseek-r1:1.5b",base_url="http://192.168.50.171:11434")

response= model.invoke("如何学习人工智能")

print(response)

然后CTRL+F5就可以运行代码了,运行效果如下:

posted @   M4K0  阅读(7)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· CSnakes vs Python.NET:高效嵌入与灵活互通的跨语言方案对比
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· Plotly.NET 一个为 .NET 打造的强大开源交互式图表库
· 上周热点回顾(2.17-2.23)
点击右上角即可分享
微信分享提示

『目录导航』