03 2023 档案

Pytorch中LayerNorm的使用

摘要：LayerNorm和BatchNorm相比，与一次传入网络的size大小无关，这一点与GroupNorm相似。经过一番搜索以后，发现可能确实不适用于卷积神经网络中。更直接的劝退原因是，最近不是很想学深度学习，只想毕业，所以三心二意之下搞不明白LayerNorm怎么使用。不是很能明白下图中的Lay 阅读全文

posted @ 2023-03-15 10:48 小澳子阅读(445) 评论(0) 推荐(0) 编辑

pytorch中GroupNorm的使用（笔记）

摘要：不使用BatchNorm的原因相比起batchNorm，groupNorm对一个batch的size更不敏感。在现有的研究中，batchNorm在batchsize越大的情况下，效果更佳，batchsize=32的情况明显优于batchsize=2。在许多计算机视觉的任务中，batchsize由阅读全文

posted @ 2023-03-10 09:55 小澳子阅读(999) 评论(0) 推荐(0) 编辑