部署AI平台-Ollama

介绍

• llama：LLaMA（Large Language Model Meta AI）是由 Meta（原Facebook公司）发布的一系列大型语言模型。这些模型旨在处理和生成自然语言文本，能够执行多种任务，如文本摘要、翻译、问答、文本生成等。LLaMA 模型因其高效的性能和较小的模型尺寸而受到关注，这使得它们能够在资源有限的环境中运行，例如个人计算机或移动设备。
• Ollama：是一个开源的大型语言模型服务工具，由 Meta发布。

平台功能

• 模型运行和管理：Ollama 允许用户在本地机器上运行大型语言模型，提供了简单的 API 来创建、运行和管理模型 。
• 模型库：Ollama 拥有一个丰富的预构建模型库，这些模型可以轻松地集成到各种应用程序中 。
• 多模态模型支持：Ollama 支持多模态模型，能够理解和生成与图像相关的描述 。
• REST API：Ollama 提供了一个 REST API，用于运行和管理模型，包括生成响应和与模型进行聊天 。
• 跨平台支持：Ollama 支持 macOS、Linux 和 Windows 操作系统，并且可以通过 Docker 容器进行部署 。
• 硬件加速：Ollama 能够识别正在运行的硬件，并在可能的情况下调用 GPU 加速模型的运行 。
• 易用性：Ollama 提供了多种安装方式，简化了安装和配置过程，使得用户即使没有专业背景也能轻松使用 。
• 社区集成：Ollama 拥有丰富的社区生态，提供了多种交互界面和插件，如网页、桌面、终端等，以及 Raycast 插件等 。
• 模型自定义：用户可以通过 Modelfile 自定义模型参数，包括系统提示词、对话模板、模型推理温度等 。
• 开源：作为一个开源项目，Ollama 允许用户查看、修改和贡献代码，促进了社区的协作和发展 。

平台优势

Ollama 平台在性能、稳定性和灵活性等方面相比其他 AI 平台具有一些显著的优势：

• 性能：Ollama 支持 GPU 加速，这使得它在处理大型语言模型（LLMs）时能够提供更快的推理速度。此外，Ollama 允许并发请求，更好地利用 GPU 资源，从而提高吞吐量。
• 稳定性：Ollama 提供了强大的模型管理功能，包括多版本控制和自动更新，这有助于确保平台的稳定性和模型的持续改进。
• 灵活性：Ollama 设计上考虑了未来模型的扩展性，易于添加新模型或更新现有模型。它还提供了灵活的安装方式，支持 macOS、Windows 和 Linux 操作系统，并且可以通过 Docker 容器进行部署。
• 易用性：Ollama 提供了简单的安装和配置过程，使得用户即使没有专业背景也能轻松使用。它还提供了多种交互界面和插件，如网页、桌面、终端等，以及 Raycast 插件等，增加了使用的灵活性。
• 本地化部署：Ollama 允许在本地机器上运行复杂的 AI 模型，降低了对网络的依赖，提高了数据处理的隐私性。
• 社区支持：Ollama 拥有活跃的社区和丰富的文档，便于用户学习和交流。
• 跨平台应用：Ollama 不仅限于 Linux，还提供了跨平台支持，无论使用 Windows、macOS 还是 Linux，都能满足用户的需求。
• 与 Python 的集成：Ollama 与 Python 的无缝集成，只需几行代码，就可以运行本地语言模型并将其集成到 Python 项目中。
• 隐私保护：OLLAMA 使所有数据处理在本地设备上完成，这对于用户隐私来说是一大胜利。
• 多功能性：OLLAMA 不仅适用于 Python 爱好者，其灵活性还使其适用于各种应用，包括 Web 开发。

部署流程

step1 安装Ollama

• https://ollama.com/

• 验证：
  http://localhost:11434/

• 配置环境变量

OLLAMA_MODELS = E:/xxx
OLLAMA_HOST = 0.0.0.0:11434
OLLAMA_ORIGINS = *

step2 下载模型

https://ollama.com/library

step3 安装ollama-webui-lite

https://github.com/ollama-webui/ollama-webui-lite

验证：
http://localhost:3000/

api接口访问ollama

curl -X POST http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt":"Why is the sky blue?"
 }'

注意：为了其他电脑能够访问，修改源码文件：src/lib/constants.ts，将localhost改为本机IP

在社区获取更多模型

https://huggingface.co/
https://hf-mirror.com/models
选择library-gguf，可通过Chinese进行筛选支持中文的模型。

下载gguf文件后，使用ollama提供的指令进行加载模型。
https://github.com/ollama/ollama

使用openwebui扩展

官方提供的openwebui安装很复杂，可以使用谷歌提供的扩展程序(crx文件)：PageAssist，直接集成了所有功能。
下载地址：https://uutool.cn/chrome-crx/
输入：jfgfiigpkhlkbnfnbobbkinehhfdhndo
下载后，拖动到谷歌浏览器的扩展程序，进行安装，然后进入即可

说明：
1.linux下载慢问题(没成功)
https://defagi.com/ai-case/ollama-installation-guide-china/
离线安装：
https://blog.csdn.net/weixin_43278082/article/details/142357712

2.指令
ollama rm llama3.2 //删除模型
ollama create mymodel -f ./Modelfile //加载gguf模型
ollama run llama3.2 //运行模型
ollama stop llama3.2 //停止模型
ollama list //查看已安装所有模型
ollama ps //查看已运行模型
ollama serve //启动服务