05 2024 档案

手撕Transformer之CrossAttention
摘要：特别感谢@lz.pan对本文的斧正. 我们来进行一个多头注意力的写。 首先直接开导： import torch from torch import nn import torch.nn.functional as F import math 导完之后，很舒服，进行下一步。 class Multihe 阅读全文
posted @ 2024-05-09 16:56 老八蜜汁小憨包 阅读(722) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示