09 2023 档案

[vllm]kernels分析

摘要：vllm kernels分析接着上一节的架构分析，vllm的csrc目录下有一些手动实现的核函数，在上一节没有具体分析，这节详细来看看。文件结构 csrc/activation_kernels:对应的silu和gelu激活函数 csrc/attention: 存放的是sq_kv_attentio 阅读全文

posted @ 2023-09-19 11:27 wildkid1024 阅读(498) 评论(0) 推荐(0) 编辑

[vllm]vllm架构分析

摘要：# vllm架构分析 ## 文件目录结构 benchmark: 测试延迟和吞吐的脚本 csrc: torch下的cuda扩展，一些关键kernels的cpp源码，包含了attention、激活函数、cache等核函数 vllm/core: 关键调度算法，调度策略以及维护cpu和gpu映射的关系表 v 阅读全文

posted @ 2023-09-06 15:42 wildkid1024 阅读(1788) 评论(0) 推荐(0) 编辑