optillm openai api 兼容的推理proxy 服务
摘要:
optillm openai api 兼容的推理proxy 服务,内部使用了不少技术,同时也支持插件化的扩展 内部参考处理 说明 optillm 内部支持基于litellm 的llm 服务,同时使用了不少llm的优化技巧,值得研究下,同时对于不支持openai api 的大模型,我们可以通过lite 阅读全文
posted @ 2025-01-25 08:00 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑