litellm fastapi sse api 集成简单说明
摘要：
实际上就是基于litellm+ ollama 对于gemma2 包装一个stream rest api ，以下是一个简单说明 参考玩法 基于litellm 对于ollama 的模型实现proxy，同时增强安全控制能力，ollama 集成了qwen2 、gemma2 以及其他模型 litellm pr 阅读全文
posted @ 2024-08-05 08:00 荣锋亮 阅读(55) 评论(0) 推荐(0) 编辑
