本地大模型构建系列(一):5、python调用ollama本地大模型(Windows 10)
第一步,安装 Python 依赖包:
WIN+R,打开CMD,输入:
pip install ollama
也可以使用镜像
pip install ollama -i https://pypi.tuna.tsinghua.edu.cn/simple
第二步,启动ollama后,开始调用 Ollama 接口,以调用“qwen2.5:3b”为例
启动大模型“qwen2.5:3b”:Win+R调出运行框,输入cmd,在cmd中输入”ollama run qwen2.5:3b“并启动
`
import ollama
def api_generate(text: str):
print(f'提问:{text}')
stream = ollama.generate(
stream=True,
model='qwen2.5:3b', # 修改大模型名称1
prompt=text,
)
print('-----------------------------------------')
for chunk in stream:
if not chunk['done']:
print(chunk['response'], end='', flush=True)
else:
print('\n')
print('-----------------------------------------')
print(f'总耗时:{chunk['total_duration']}')
print('-----------------------------------------')
if name == 'main':
api_generate(text='湖水为什么是绿色的?')#流式
content = ollama.generate(model='qwen2.5:3b', prompt='湖水为什么是绿色的?') # 非流式
`
运行结果如下图:

浙公网安备 33010602011771号