会员
周边
捐助
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
wildkid1024
平平无奇!
博客园
首页
新随笔
联系
订阅
管理
2023年9月19日
[vllm]kernels分析
摘要: vllm kernels分析 接着上一节的架构分析,vllm的csrc目录下有一些手动实现的核函数,在上一节没有具体分析,这节详细来看看。 文件结构 csrc/activation_kernels:对应的silu和gelu激活函数 csrc/attention: 存放的是sq_kv_attentio
阅读全文
posted @ 2023-09-19 11:27 wildkid1024
阅读(433)
评论(0)
推荐(0)
编辑
公告