在人工智能和自然语言处理领域,大型语言模型(LLMs)如GPT-3、LLaMA等已经展示了强大的能力。然而,这些模型通常需要大量的计算资源,并且依赖于云端服务。如果你希望在本地运行这些模型,Ollama是一个值得关注的开源工具。本文将介绍Ollama的基本概念、优势以及如何安装和使用它。
什么是Ollama?
Ollama是一个开源项目,旨在让用户能够在本地计算机上运行大型语言模型。它通过优化模型推理过程,使得即使在没有高端GPU的情况下,用户也能在本地运行这些模型。Ollama支持多种流行的语言模型,如LLaMA、GPT-J等,并且提供了简单的命令行界面,方便用户快速上手。
Ollama的优势
-
本地运行:Ollama允许你在本地计算机上运行大型语言模型,无需依赖云端服务。这不仅提高了隐私性,还减少了网络延迟。
-
资源优化:Ollama通过优化模型推理过程,使得在资源有限的设备上也能运行这些模型。这意味着你可以在没有高端GPU的情况下使用Ollama。
-
多模型支持:Ollama支持多种流行的语言模型,如LLaMA、GPT-J等。你可以根据需要选择不同的模型进行实验和应用。
-
简单易用:Ollama提供了简单的命令行界面,用户可以通过几条命令轻松地安装和运行模型。
如何安装Ollama
下面分别介绍Linux、Mac、Windows环境的安装方法,根据自己环境选一即可
Linux 环境
安装有最简单的一键式命令,如下
1 | curl -fsSL https: //ollama .com /install .sh | sh |
但是通常这个命令安装会遇到墙的问题,会存在各种失败的情况,就需要进行手工安装。其实从这个安装脚本的内容,也能看出具体的安装步骤。下面以Linux为例进行手工安装。
首先下载安装包
1 | curl -L https: //ollama .com /download/ollama-linux-amd64 .tgz -o ollama-linux-amd64.tgz |
解压缩命令到usr目录 ,因为目录结构之后lib和bin ,所以到目录下不会有直接的目录
1 | sudo tar -C /usr |
启动ollama
1 | ollama serve |
在另外一个窗口可以看是否启动成功
把ollama 添加到系统服务中
1 2 | sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama sudo usermod -a -G ollama $( whoami ) |
创建启动文件 /etc/systemd/system/ollama.service
1 2 3 4 5 6 7 8 9 10 11 12 13 14 | [Unit] Description=Ollama Service After=network-online.target [Service] ExecStart= /usr/bin/ollama serve User=ollama Group=ollama Restart=always RestartSec=3 Environment= "PATH=$PATH" [Install] WantedBy=default.target |
通过命令就可以启动并验证ollama的状态
1 2 | sudo systemctl start ollama sudo systemctl status ollama |
自定义配置ollama 比如ollama安装后默认监听的地址是 127.0.0.1, 为了方便使用,可以修改地址成0.0.0.0 这样就能在所有能访问到这台机器的电脑上访问了。
1 | sudo systemctl edit ollama |
1 2 | [Service] Environment= "OLLAMA_HOST=0.0.0.0:11434" |
保存命令和shell不太一样,当时提示的比较清楚,按enter就可以保存到/etc/systemd/system/ollama.service.d/override.conf了。可以重启服务验证下
1 2 3 4 | sudo systemctl daemon-reload sudo systemctl restart ollama sudo systemctl show ollama | grep Environment |
Mac环境
1、下载Ollama,到官网 https://ollama.com/ 点击 Down
直接下载即可
安装完,在命令行输入 ollama 回车,可以验证是否成功。比较简单,不再赘述。
Windows环境
同Mac环境,只是在下载的时候,选择Windows,下载完点击安装,一步步即可。安装完win+R ,输入ollam,检查是否安装完成。
本文来自博客园,作者:茄子_2008,转载请注明原文链接:https://www.cnblogs.com/xd502djj/p/18698621
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 清华大学推出第四讲使用 DeepSeek + DeepResearch 让科研像聊天一样简单!
· 推荐几款开源且免费的 .NET MAUI 组件库
· 实操Deepseek接入个人知识库
· 易语言 —— 开山篇
· 【全网最全教程】使用最强DeepSeekR1+联网的火山引擎,没有生成长度限制,DeepSeek本体
2015-02-04 OTA(空中下载技术)