AI大模型完全本地化部署指南——从零硬件开始
本文将从基础硬件购置开始讲起,真正意义上从零开始,最终通过Ollama、LangChain、DeepSeek的一系列交互,输出本地大模型的第一声啼鸣,带你走进另一片广阔的世界。update:2025-02-23
硬件方面
主板选型:
主机组装:
P40显卡拆解,改散热:
kali显卡驱动安装
软件方面
ollama服务端配置
ollama安装没什么难度,建议直接参考官网https://ollama.com,根据安装提示一直按下一步即可,安装模型命令是ollama pull 模型名称
。
ollama服务端执行export OLLAMA_HOST=0.0.0.0:11434;ollama serve ;
开启外部网络访问支持。启动后可执行ollam list
查看本地已部署模型信息,以下是我之前安装过的。
conda虚拟环境部署
软件环境部署:
conda create -n LangChainP312 python==3.12
conda activate LangChainP312
pip install --upgrade langchain
pip install --upgrade langchain-ollama
开发工具vs code,官网是https://code.visualstudio.com/Download,ubuntu系列linux执行sudo dpkg -i xxx.deb
即可,windows安装步骤仍是各种下一步下一步,最后左侧安装一下python代码支持。
然后新建一个py文档开始写代码,注意和conda环境关联方法: 快捷键CTRL SHIFT P选择interpreter,指定conda环境LangChainP312。
客户端langchain代码编写
from langchain_ollama import OllamaLLM
#更多参数配置,可以在OllamaLLM函数名位置右键或者F12跳转到源码位置
model = OllamaLLM(model="deepseek-r1:1.5b",base_url="http://192.168.50.171:11434")
response= model.invoke("如何学习人工智能")
print(response)
然后CTRL+F5就可以运行代码了,运行效果如下:
分类:
AI实战
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· CSnakes vs Python.NET:高效嵌入与灵活互通的跨语言方案对比
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· Plotly.NET 一个为 .NET 打造的强大开源交互式图表库
· 上周热点回顾(2.17-2.23)