2024年6月18日
一个中转代码，底层调用openai，上层模拟openai
摘要： openai的调用api几乎成为了实质性的大模型社区的调用标准，你看不论是阿里的灵积，智谱，together，vllm，ollama，fastchat等都支持openai的调用方式，所以这也是大势所趋， 有时候我们想做个中间层，底层调用大模型，上层提供业务服务，特别是许多公司的多节点的agent，如 阅读全文
posted @ 2024-06-18 11:36 仙守 阅读(84) 评论(0) 推荐(0) 编辑