本地大模型构建系列(一):5、python调用ollama本地大模型(Windows 10)

第一步,安装 Python 依赖包:
WIN+R,打开CMD,输入:
pip install ollama
也可以使用镜像
pip install ollama -i https://pypi.tuna.tsinghua.edu.cn/simple

第二步,启动ollama后,开始调用 Ollama 接口,以调用“qwen2.5:3b”为例

启动大模型“qwen2.5:3b”:Win+R调出运行框,输入cmd,在cmd中输入”ollama run qwen2.5:3b“并启动

`
import ollama
def api_generate(text: str):
print(f'提问:{text}')

stream = ollama.generate(
    stream=True,
    model='qwen2.5:3b', # 修改大模型名称1
    prompt=text,
)

print('-----------------------------------------')
for chunk in stream:
    if not chunk['done']:
        print(chunk['response'], end='', flush=True)
    else:
        print('\n')
        print('-----------------------------------------')
        print(f'总耗时:{chunk['total_duration']}')
        print('-----------------------------------------')

if name == 'main':
api_generate(text='湖水为什么是绿色的?')#流式
content = ollama.generate(model='qwen2.5:3b', prompt='湖水为什么是绿色的?') # 非流式
`
运行结果如下图:

posted on   llmpig  阅读(2522)  评论(0编辑  收藏  举报

相关博文:
阅读排行:
· 全程不用写代码,我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· 白话解读 Dapr 1.15:你的「微服务管家」又秀新绝活了
点击右上角即可分享
微信分享提示