2024年8月25日

通过llama-cpp-python web server 实现函数调用

摘要: ollama 在最新的版本中实现了函数调用,但是处理上还是有一些bug 的,llama-cpp-python web server 是利用了llama.cpp web server 同时进行了一些request 的处理,可以更好的兼容openai 支持了tools 函数调用,以下是基于llama-c 阅读全文

posted @ 2024-08-25 07:11 荣锋亮 阅读(156) 评论(0) 推荐(0) 编辑

导航