使用Ollama+DeepSeek+AnythingLLM+Docker实现本地部署大语言模型（本地局域网内）

安装Ollama

1.官网搜索Ollama 网址是：https://ollama.com/

2.下载windows版本，安装成功之后，会默认下载到C盘下，需要将他移到别的盘，比如D盘，需要做如下改动

移动文件夹

将C:\Users\XX\AppData\Local\Programs\Ollama 这个文件夹移动到D盘，例如改到 D:\AI\Ollama

将C:\Users\XX\.ollama 移动到D盘，例如改到 D:\AI\.ollama
修改环境变量

用户变量的PATH变量，将C:\Users\XX\AppData\Local\Programs\Ollama更改为D:\AI\Ollama

系统变量中新建：名为OLLAMA_MODELS ，值为：D:\AI\.ollama\models
用户变量新增两个

OLLAMA_HOST 0.0.0.0

OLLAMA_ORIGINS *
验证

完成上述步骤后，cmd 输入 ollama -v 验证是否成功

重启服务ollama serve（或者进入到ollama安装目录执行ollama app.exe）

安装DeepSeek模型

1.在ollama网址中选择models如下

2.选择deepseek-r1这个模型，有很多版本，区别就是参数不一样

大模型版本	内存
1.5b	1.1GB
7b	4.7GB
8b	4.9GB
14b	9.0GB
32b	20GB
671b	404GB

3.我们下载14b 版本（参数越大，使用deepseek效果越好）

在cmd 命令下运行如下命令
```
ollama run deepseek-r1:14b
```
如果是8b的话就是如下命令
```
ollama run deepseek-r1:8b
```
其他版本在界面中搜索

4.下载成功之后，输入如下查看是否下载好了这个模型

ollama list

5.输入如下运行这个模型

ollama run deepseek-r1:14b

6.之后就可以在这上面问问题了

因为只能在这个小窗口问问题，所以需要用到AnythingLLM

AnythingLLM

1.搭建本地私有知识库，官网https://anythingllm.com/desktop

2.为什么要用知识库？

产品文档、技术文档散落在各处，查找费时费力

新人入职培训需要反复讲解相同的内容

客户咨询的问题高度重复，但每次都要人工回答

公司内部知识难以沉淀和复用

各类参考资料缺乏统一管理和快速检索的方案

3.直接下载 windows版本，下载后直接安装

4.选择仅为我安装

5.选择安装路径，点击安装（安装过程有点慢，会安装一些依赖库（为本地LLM做支持用））

6.安装完成之后，进入页面，点击“扳手”

点击 LLM首选项
选择ollama作为模型提供商
选择已安装的deepsek 模型
注意下地址

7.向量数据库不用动保持默认即可、嵌入模型配置，可以使用默认自带的

8.配置完点击【保存更改】再点击左下角的【返回】即可。

9.点击【+新工作区】创建一个新的工作区

10.随意起一个工作区名称

11.上传文档

上传方式：
- 点击工作空间的上传按钮，支持上传PDF、CSV、音频文件，或者抓取网页内容。
- 上传后，右键点击文件并选择“加入工作空间”即可。

12.点击【upload a document】上传文件

13.点击按钮开始添加文档

14.并将文档 Move to Workspace，意思是加载到AnythingLLM的本地知识库中。

15.然后点击【Save and Embed】即可。

16.出现 Workspace updated successfully 就表示知识库配置已经完成。

17.配置成功之后，就可以问问题，AI会检索你上传的文件，回答你的问题。

如何实现多人访问呢？用用用Docker

Docker

1.首先需要在自己电脑上开启windows的Hyper-V虚拟化技术

打开控制面板——>程序和功能——>启动或关闭window功能

2.安装docker：在安装docker 的时候会报错，安装失败，与自己电脑不兼容，（我的就是报错：19044）

docker只支持 Windows 10 专业版/企业版/家庭版，并且版本要高于19044

解决办法：

win+R 输入regedit 打开注册表

找到：计算机\HKEY LOCAL MACHINE\SOFTWARE\Microsoft\Windows NT\CurrentVersion

确认EditionId是否为Professional，如果不是将其修改

修改CurrentBuild和CurrentBuildNumber，改为提示要求的19044

然后重新安装：（直接安装会默认给你装到C盘，如果无需改动，直接双击运行软件即可，如果想装到别的盘，如下）

3.安装到D盘

切换到 这个exe的目录下 
cmd   cd 进入
然后运行下面的
start /w "" "Docker Desktop Installer.exe" install -accept-license --installation-dir="D:\AI\Docker" --wsl-default-data-root="D:\AI\Docker\data" --windows-containers-default-data-root="D:\AI\Docker"

5.注意，不要勾选第一项，不然会安装失败，因为我们设置了Hyper-v。

6.然后点击close and restart 重启，重启之后，会弹这个页面

7.Accept，不用登录，直接点击不登录

8.进入到dockerdesktop界面

9.设置资源下载位置，默认是在C盘，根据自己需求进行修改。（例如：D:\AI\Docker\data）

10.设置镜像，不然无法下载镜像，配置如下

{
 "builder": {
   "gc": {
     "defaultKeepStorage": "20GB",
     "enabled": true
   }
 },
 "experimental": false,
 "registry-mirrors": [
   "https://hub.littlediary.cn/"
 ]
}

11.测试：cmd 执行命令：docker --version

12.到这就算安装完成了。

13.这里将anythingllm放进去，安装好之后，在windows命令行 cmd 输入：

 docker pull mintplexlabs/anythingllm

这个过程挺慢长...

14.运行结束后，切换到docker，可以在images里看到anythingllm

15.在 PowerShell 里执行如下命令（cmd中执行会报错）

$env:STORAGE_LOCATION="$HOME\Documents\anythingllm"; `
If(!(Test-Path $env:STORAGE_LOCATION)) {New-Item $env:STORAGE_LOCATION -ItemType Directory}; `
If(!(Test-Path "$env:STORAGE_LOCATION\.env")) {New-Item "$env:STORAGE_LOCATION\.env" -ItemType File}; `
docker run -d -p 3001:3001 `
--cap-add SYS_ADMIN `
-v "$env:STORAGE_LOCATION`:/app/server/storage" `
-v "$env:STORAGE_LOCATION\.env:/app/server/.env" `
-e STORAGE_DIR="/app/server/storage" `
mintplexlabs/anythingllm;

16.执行完会返一串字符串（不知道干吗用的）

f649787f858337c098576e087cde56ad4d52a5b0cea32df4401689aa5a4973fc

17.运行结束，切换到docker，可以在Containers列表中看到anythingllm

18.点击3001:3001，即可打开网页进行会话

19.进入到网页端基本上就跟anythingllm配置差不多了，（选择团队使用，就可以创建用户供给多人在局域网内使用了！）

参考大佬们的网址

安装Docker报错19044问题：https://blog.csdn.net/qq_30776829/article/details/143705124

将Docker装到D盘：https://blog.csdn.net/m0_51290571/article/details/144635357

将Ollama安装到D盘下：https://blog.csdn.net/youeyeb/article/details/144905333