03 2021 档案

model.add_module
摘要：Pytorch使用这个方法，就可以在已有模型的基础上重新加一些结构，比如已经加载了某个预训练模型，但仍需要增加一些模块，此时已经不能在一开始构建模型的时候init进去模块，于是可以在load完模型后，用model.add_module，把所需要的模块增添进去，使用方法是model.add_modul 阅读全文
posted @ 2021-03-12 09:41 嶙羽 阅读(1113) 评论(0) 推荐(0) 编辑
einsum爱因斯坦求和
摘要：最近因为vision transformer里的pytorch代码，看到了torch.einsum(np.einsum同理)这个操作，简直是神了； 比如 t = torch.randn(2,4,3) q, k, v = tuple(rearrange(t, 'b t (d k) -> k b t d 阅读全文
posted @ 2021-03-04 13:31 嶙羽 阅读(336) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示