Ollama实现开源大模型本地化安装部署

 

这里有一篇介绍还不错的知乎文章，可以去看下。https://zhuanlan.zhihu.com/p/692343935

1、windows安装ollama（https://ollama.com/download）

2、选择下载安装大模型

3、open-webui：是一个开源的Web界面，用于同各种大语言模型进行交互，并可以同ollama所管理的大语言模型进行快速集成。它提供了一个用户界面，允许用户输入prompt指令，并获得所选择模型生成的响应，由于本地化部署，其返回的结果和人工反馈又可以做为人工标注的数据，对开源大模型进行微调和强化学习用的训练数据。【docker部署】