2025年1月25日

optillm openai api 兼容的推理proxy 服务

摘要: optillm openai api 兼容的推理proxy 服务,内部使用了不少技术,同时也支持插件化的扩展 内部参考处理 说明 optillm 内部支持基于litellm 的llm 服务,同时使用了不少llm的优化技巧,值得研究下,同时对于不支持openai api 的大模型,我们可以通过lite 阅读全文

posted @ 2025-01-25 08:00 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

导航

< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示