llama-cpp-agent 兼容llama.cpp 以及llama-cpp-python服务的llm工具

llama-cpp-agent 兼容llama.cpp 以及llama-cpp-python服务的llm工具

包含的特性

• 使用简单
• 结构化输出
• 单个或者并行函数调用
• rag 能力
• agent chain
• 基于grammars 以及json schema 的处理，可以确保大部分7b 的llm 可以支持函数调用以及结构化输出
• 多provider 支持，包含了llama-cpp-python， llama.cpp server TGI，vllm
• 兼容，python 函数，pydantic 工具，llama index 工具，以及openai tool sschema
• 灵活

说明

llama-cpp-agent 在测试过之后发现对于函数调用的稳定性以及可靠性还是很不错的，是一个值得使用的rag 以及agent 开发框架

参考资料

https://llama-cpp-agent.readthedocs.io/en/latest/
https://github.com/Maximilian-Winter/llama-cpp-agent