2024年7月19日

ollama 0.2.7 支持函数调用了

摘要: 就在最新的ollama 发布版本中对于类似openai 的函数调用支持了,但是目前有一些问题,就是相关历史的model 都需要修改下(添加TEMPLATE 对于tools的支持),一些是一个简单的测试 参考示例 使用了phidata 这个工具包 一个参考qwen2:7b 模型的修改 参考了llama 阅读全文

posted @ 2024-07-19 18:04 荣锋亮 阅读(259) 评论(0) 推荐(0) 编辑

通过vllm 部署qwen2 模型

摘要: 主要是一个简单测试 安装vllm pip 模式安装 部分包比较大, 注意时间, 最好使用一个加速, 目前阿里云的似乎有限速了,可以试试清华的https://pypi.tuna.tsinghua.edu.cn/simple python -m venv venv source venv/bin/ac 阅读全文

posted @ 2024-07-19 08:00 荣锋亮 阅读(1485) 评论(0) 推荐(0) 编辑

导航