2023年9月19日
[vllm]kernels分析
摘要： vllm kernels分析 接着上一节的架构分析，vllm的csrc目录下有一些手动实现的核函数，在上一节没有具体分析，这节详细来看看。 文件结构 csrc/activation_kernels:对应的silu和gelu激活函数 csrc/attention: 存放的是sq_kv_attentio 阅读全文
posted @ 2023-09-19 11:27 wildkid1024 阅读(402) 评论(0) 推荐(0) 编辑