llama-cpp-agent 兼容llama.cpp 以及llama-cpp-python服务的llm工具
llama-cpp-agent 兼容llama.cpp 以及llama-cpp-python服务的llm工具
包含的特性
- 使用简单
- 结构化输出
- 单个或者并行函数调用
- rag 能力
- agent chain
- 基于grammars 以及json schema 的处理，可以确保大部分7b 的llm 可以支持函数调用以及结构化输出
- 多provider 支持，包含了llama-cpp-python， llama.cpp server TGI，vllm
- 兼容，python 函数，pydantic 工具，llama index 工具，以及openai tool sschema
- 灵活
说明
llama-cpp-agent 在测试过之后发现对于函数调用的稳定性以及可靠性还是很不错的，是一个值得使用的rag 以及agent 开发框架
参考资料
https://llama-cpp-agent.readthedocs.io/en/latest/
https://github.com/Maximilian-Winter/llama-cpp-agent
