本地大模型构建系列(一):5、python调用ollama本地大模型(Windows 10)
第一步,安装 Python 依赖包:
WIN+R,打开CMD,输入:
pip install ollama
也可以使用镜像
pip install ollama -i https://pypi.tuna.tsinghua.edu.cn/simple
第二步,启动ollama后,开始调用 Ollama 接口,以调用“qwen2.5:3b”为例
启动大模型“qwen2.5:3b”:Win+R调出运行框,输入cmd,在cmd中输入”ollama run qwen2.5:3b“并启动
`
import ollama
def api_generate(text: str):
print(f'提问:{text}')
stream = ollama.generate(
stream=True,
model='qwen2.5:3b', # 修改大模型名称1
prompt=text,
)
print('-----------------------------------------')
for chunk in stream:
if not chunk['done']:
print(chunk['response'], end='', flush=True)
else:
print('\n')
print('-----------------------------------------')
print(f'总耗时:{chunk['total_duration']}')
print('-----------------------------------------')
if name == 'main':
api_generate(text='湖水为什么是绿色的?')#流式
content = ollama.generate(model='qwen2.5:3b', prompt='湖水为什么是绿色的?') # 非流式
`
运行结果如下图:
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 全程不用写代码,我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· 白话解读 Dapr 1.15:你的「微服务管家」又秀新绝活了