摘要: 该论文提出了一个新的框架,用于在强模型和弱模型之间进行查询路由选择。通过学习用户偏好数据,预测强模型获胜的概率,并根据成本阈值来决定使用哪种模型处理查询 。该研究主要应用于大规模语言模型(LLMs)的实际部署中,通过智能路由在保证响应质量的前提下显著降低成本。 通过创新的路由框架和算法,有效地在强模 阅读全文
posted @ 2024-07-05 10:54 deephub 阅读(107) 评论(0) 推荐(0) 编辑