2023年12月18日
【LLMOps】vllm加速机制及推理不一致根因剖析
摘要： 介绍 当前大模型主流推理方式包括：vllm、tgi、原生transformer 回顾 目前主流大模型都是由transformer演变过来，transformer核心是attention，参考《Attention is All You Need》 ，attention核心则是3个矩阵：Query、Ke 阅读全文
posted @ 2023-12-18 11:15 周周周文阳 阅读(1353) 评论(0) 推荐(0) 编辑