2023年4月17日
优化故事: BLOOM 模型推理
摘要： 经过“九九八十一难”，大模型终于炼成。下一步就是架设服务，准备开门营业了。真这么简单？恐怕未必！行百里者半九十，推理优化又是新的雄关漫道。如何进行延迟优化？如何进行成本优化 (别忘了 OpenAI 8K 上下文的 GPT-4 模型，提示每 1000 词元只需 0.03 美金，补全每 1000 词元只 阅读全文
posted @ 2023-04-17 22:27 HuggingFace 阅读(1480) 评论(0) 推荐(1) 编辑