优化故事: BLOOM 模型推理
摘要：
优化故事: BLOOM 模型推理 经过“九九八十一难”，大模型终于炼成。下一步就是架设服务，准备开门营业了。真这么简单？恐怕未必！行百里者半九十，推理优化又是新的雄关漫道。如何进行延迟优化？如何进行成本优化（别忘了 OpenAI 8K 上下文的 GPT-4 模型，提示每 1000 词元只需 0.03 阅读全文
posted @ 2023-03-28 07:16 姚伟峰 阅读(533) 评论(0) 推荐(0) 编辑
