ollama qwen2 运行&openai 兼容api 测试
qwen2 模型已经发布了,各种新闻都说很不错,所以通过ollama 测试下
安装ollama
- cli
curl -fsSL https://ollama.com/install.sh | sh
- 启动服务
ollama serve
拉取qwen2:1.5b 模型
使用了api 模式
- cli
curl -X POST http://localhost:11434/api/pull -d '{"model":"qwen2:1.5b"}'
openai api 访问
- 使用了python sdk
from openai import OpenAI
client = OpenAI(
base_url = 'http://localhost:11434/v1/',
api_key='ollama', # required, but unused
)
response = client.chat.completions.create(
model="qwen2:1.5b",
messages=[
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "你是谁"},
{"role": "user", "content": "今天是星期几?"}
]
)
print(response.choices[0].message.content)
- 效果
说明
目前ollama 似乎对于模型加载有点问题,在测试llama3 的时候有问题,github 上也有类似的issue,所以对于qwen2的我也使用了api 模式拉取,目前qwen2 模型的能力以及速度目前看着还真不错,值得学习下
参考资料
https://ollama.com/library/qwen2:1.5bhttps://github.com/ollama/ollama/releases/tag/v0.1.42
https://github.com/ollama/ollama/blob/main/README.md#quickstart
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· 上周热点回顾(2.17-2.23)
· 如何使用 Uni-app 实现视频聊天(源码,支持安卓、iOS)
· spring官宣接入deepseek,真的太香了~
2023-06-10 nginx-clojure-0.6.0 集成nginx 1.25.0 构建的解决方法
2023-06-10 nginx-clojure 源码构建一些问题
2023-06-10 nginx-clojure 0.6.0 的一些新特性
2020-06-10 使用openresty+empty_gif 进行请求数据分析
2020-06-10 使用lua-resty-repl 调试openresty
2020-06-10 supervisord golang 实现试用
2020-06-10 Prisma 2.0 ga