transformer（ViT）查看权重、梯度和梯度函数
假设我们搭建的模型名称为net，在训练时，我们想查看第0个block的attention中的矩阵K的梯度函数和前几个权重、梯度：
net.transformer.encoder.layer[0].attn.key.weight.grad_fn （key即矩阵K）
net.transformer.encoder.layer[0].attn.key.weight[:2, :2]
net.transformer.encoder.layer[0].attn.key.weight.grad[:2, :2]
分类:
Deep Learning
标签:
transformer
, 查看权重梯度
【推荐】国内首个AI IDE，深度理解中文开发场景，立即下载体验Trae
【推荐】编程新体验，更懂你的AI，立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包，你的智能百科全书，全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell：AI 加持，快人一步
· Manus爆火，是硬核还是营销？
· 终于写完轮子一部分：tcp代理 了，记录一下
· 震惊！C++程序真的从main开始吗？99%的程序员都答错了
· 别再用vector＜bool＞了！Google高级工程师：这可能是STL最大的设计失误
· 单元测试从入门到精通
2020-03-24 PyTorch LSTM的一个简单例子：实现MNIST图片分类