04 2021 档案
摘要：torch.nn.init 作者：elfin Top Bottom 初始化在深度学习模型训练中占有非常重要的位置，好的初始化可以对模型性能有不小的提升。下面将介绍pytorch的一些初始化方法。 Top Bottom 1、calculate_gain torch.nn.init.calculat
阅读全文
摘要：Swin Transformer 作者：elfin Top Bottom 1、Batch Normalization 使用BN时，我们只需要使用torch.nn.BatchNorm2d()指定通道数即可。它会在每个通道上分别求均值和方差在进行标准化。 1.1 数据准备 import torch Ba
阅读全文
摘要：DropPath 解析 作者：elfin Top Bottom DropPath是将深度学习模型中的多分支结构随机”删除“ https://github.com/yueatsprograms/Stochastic_Depth 1、DropPath实现 def drop_path(x, drop_pr
阅读全文
摘要：Swin Transformer 作者：elfin 资料来源：Swin 论文地址：https://arxiv.org/abs/2103.14030 项目地址：https://github.com/microsoft/Swin-Transformer Top Bottom 摘要 本文提出了一种新的
阅读全文
摘要：参考资料：https://blog.csdn.net/fxwfxw7037681/article/details/114440117 中心损失 centerloss是关注于类间距离，即我们认为同一类的对象距离其类别中心应该尽可能小。这种假设在聚类中是一个基本假设，注意这个假设与类间距无关！
阅读全文
摘要：LSTM::只需研究一次 作者：elfin 资料来源：torch.nn.LSTM Top Bottom 1、简述RNN 在传统的统计学中，有一门专门介绍时间序列的课程。其主要研究事件的发生与时间(可以是广义的)有较强的关联，这时传统机器学习算法并不能很好地解决这种带有时序的数据预测、特征挖掘。随
阅读全文
摘要：BoTNet::Bottleneck Transformers for Visual Recognition(视觉识别的瓶颈transformer) 作者：elfin 资料来源：BoTNet Top Bottom 0、摘要 我们提出了BoTNet，一个简单但功能强大的骨干网络，可用于多种视觉任务
阅读全文
