2024年3月30日
GPTCache使用
摘要： 1.概述 传统应用开发中，为了提升系统的查询性能，往往会在系统架构设计中加入缓存机制。在AI大模型领域，虽然功能非常强大，但是使用成本也是非常昂贵的，比如OpenAI的GPT-4按照token的个数来计算费用。那么，在这种情况下是否有一种方案来解决呢？既能降低使用LLM API的成本，也能同时提升调 阅读全文
posted @ 2024-03-30 20:28 哥不是小萝莉 阅读(351) 评论(0) 推荐(0) 编辑