阿刚的代码进阶之旅

摘要： 在没有Batch Normalization层的情况下，要用相对来讲较小的学习率。 阅读全文

摘要： Tensor RT的介绍在此不做赘述。 自己在服务器上本打算装Tensor RT来着，不过过程很艰辛，最后发现服务器的cudnn版本偏低了，还需要升级cudnn的版本。故，在自己的电脑上了装了下Tensor RT，同时给自己的电脑将cudnn的版本从7.4升级到了7.5，并跑通了基本的例程。 下面对 阅读全文

摘要： 1、pytorch中的torch.split只能将tensor分割为相等的几分，如果需要特定的需求将tensor分割开，可以用torch.index_select。使用的时候，先生成index索引，示例程序如下： 2、转置图像和翻转图像，平移图像 转置直接用transpose即可，后面只跟两个参数， 阅读全文

摘要： 关于SE-Net有些很奇妙的点： 1、首先，所谓的SE module加在了BN层后面，这样的话，SE首先应该是对于BN层输出的feature map求取global average pooling，一个样本的一个channel做一次pooling，注意这个地方的pooling输出值不是bn_weig 阅读全文

摘要： 发现之前自己写的程序里面的一个bug，就是关于再函数中改变全局变量的事情，有两个函数，在一个函数中定义了一个全局变量并进行了赋值操作，但是在后面的函数中没有申明全局变量，所以后面这个函数本来是想要改变全局变量的值，最后却成了重新定义了一个局部变量。 现在想能不能通过参数来学习mask呢，根据BN层w 阅读全文

摘要： torch.optim是里面是和优化算法相关的类。比如使用SGD算法用 这个地方要注意的是传入的第一个参数是网络的parameters。 这个类里面有param_group,是一个字典，里面包括： params: 网路可学习权重 lr: 学习率 weight_decay:权重衰减 等等私有成员。 这 阅读全文

摘要： 下面的概念来自于《深度学习》这本书 正则化：机器学习的核心问题之一就是不仅在训练数据上表现好，还要在新输入上泛化好，很多策略被显式的设计出来减少测试误差，这些策略被统称为正则化。 阅读全文

摘要： pytorch中关于backward的很有意思的一个问题 <https://blog.csdn.net/shiheyingzhe/article/details/83054238> 但是我测试的结果在有些地方有点不同。就是第三个程序段中，x的梯度值是 他这个输出值乘以2 另外，关于torch.max 阅读全文

摘要： 现在开始学习凸优化课程，一共8次课，一星期一次课，每次课的当周将当节课的内容总结一下，不懂的问题弄明白。 课程的PPT见 （ http://www.cs.zju.edu.cn/people/qianhui/opt.html） 这节课主要讲了如下内容： 优化与机器学习 机器学习（有监督）Paradig 阅读全文

摘要： 远程登陆服务器直接用 即可登陆。hostname就是自己的用户名，ip_address就是IP地址。 关于VNC使用的命令： 杀死VNC: 6是自己的端口号。 重启VNC并且修改分辨率： 如果Linux开启了防火墙功能，就需要手工开启相应的端口，以开启桌面号为“1”相应的端口为例: 阅读全文