litellm openai 标准格式的支持100+ 大模型的负载均衡&异常fallback 框架

litellm 支持多种大模型的处理包含了负载均衡，fallbabck，速度追踪，配置管理，限速处理，同时对于提供标准的openao 标准格式api
基于此我们可以实现大模型标准的openai 能力，同时实现类似openai 的安全管理，key 管理，同时支持多示例的配额管理（基于redis的）
同时也提供了完备的openai 能力（swagger）

使用模式

litellm 对于不同llm 的集成包含了两种模式

• 基于python api 模式的 
  此模式需要自己配置不同后端llm，包含了key 信息，地址信息，对于简单使用比较方便不利于使用openai sdk 的标准化
• 基于litellm proxy 模式 
  此模式我们基于配置进行不同后端llm 的配置，可以灵活的实现不同的策略，比如负载均衡，配置管理，通用配置管理，路由配置，环境变量配置，还是很强大的，还会包含一个ui 方便管理，同时里边也包含了完备的openapi （swagger） 可以灵活的调用

说明

以上是一个简单介绍，使用好litetllm 可以让我们自己私有大模型服务或者依赖的三方大模型服务实现一个统一管理，强大灵活，可以较少修改基于openai sdk 的服务，一个参考玩法

参考资料

https://github.com/BerriAI/litellm
https://docs.litellm.ai/docs/
https://docs.litellm.ai/docs/proxy/configs
https://microsoft.github.io/autogen/docs/topics/non-openai-models/local-litellm-ollama/
https://thenewstack.io/ai-gateways-transform-experimentation-into-scalable-production/