Loading

2024年8月1日
大模型的推理加速综述
摘要： 大模型的推理加速综述 这次在CCF Chip会议还听到了许多对于大模型的研究报告，感觉非常有趣，现就几个比较有趣的技术点来阐述一下大模型推理加速时的细节问题。这里姑且对量化稀疏等基础通用方法不作太多论述，更多集中在大模型推理本身的一些有趣的加速技术上。 重点关注三个重要技术，Prefill & De 阅读全文
posted @ 2024-08-01 22:14 sasasatori 阅读(359) 评论(0) 推荐(0) 编辑