2024年7月22日
LLM大模型：推理优化-vLLM显存使用优化
摘要： 1、众所周知，transformer架构取得了巨大的成功，核心原因之一就是attention的引入。当年那篇论文的名称就叫attention is all you need，可见attention机制在transformer中的巨大作用！attention的计算示意图如下： 同一个sequence中 阅读全文
posted @ 2024-07-22 17:36 第七子007 阅读(2454) 评论(0) 推荐(0) 编辑