litellm openai 标准格式的支持100+ 大模型的负载均衡&异常fallback 框架
摘要：
litellm 支持多种大模型的处理包含了负载均衡，fallbabck，速度追踪，配置管理，限速处理，同时对于提供标准的openao 标准格式api基于此我们可以实现大模型标准的openai 能力，同时实现类似openai 的安全管理，key 管理，同时支持多示例的配额管理（基于redis的）同时也 阅读全文
posted @ 2024-07-29 00:42 荣锋亮 阅读(36) 评论(0) 推荐(0) 编辑
