摘要: 背景 最近年后受到导师推荐来一个做算法的公司实习,公司最近新推出了产品,可以提供稳定模型服务等,我作为小小实习生,为了研究 deepseek 模型的prefix caching的实现,收到的任务就是研究一下提示词的前缀和如果进行前缀缓存命中率 问题描述 遇到的数据经过一点点省略后如下: {"requ 阅读全文
posted @ 2025-02-11 15:43 ZzTzZ 阅读(11) 评论(0) 推荐(0) 编辑
点击右上角即可分享
微信分享提示