cltt - 博客园

神经网络中出现过拟合的原因和几种解决方法

摘要：过拟合产生的原因？过拟合的表现：模型在训练集上误差很小，在测试集上误差很大。过拟合主要由两个方面决定：一是数据集，二是模型。我认为过拟合问题目前来说只能减少不能避免。数据集角度：我们知道无论是机器学习还是深度学习，都是通过在训练集上做训练来最小化训练集上的损失函数来得到想要的模型，也就是说阅读全文

posted @ 2020-03-18 11:59 cltt 阅读(4799) 评论(0) 推荐(1)

反卷积网络的棋盘格现象

摘要： 1 现象通过神经网络生成的图片，放大了看会有棋盘格的现象2 分析混叠现象造成的，反卷积时，到stride和ksize 不能整除时，就会有这种现象，二维图像的时候更显著。神经网络虽然能学习，可以抵消一部分现象，但是会造成这个模型不鲁棒。常见的有三种方法上采样，反卷积，nn插值，双线性插值。替换GAN网阅读全文

posted @ 2020-03-16 19:21 cltt 阅读(851) 评论(0) 推荐(0)

图像的插值算法

摘要：最近邻插值这是一种简单的插值算法：不需要计算，在待求象素的四邻象素中，将距离待求象素最近的邻象素灰度赋给待求象素设i+u, j+v(i, j为正整数， u, v为大于零小于1的小数，下同)为待求象素坐标，则待求象素灰度的值 f(i+u, j+v) 如下图所示：如果(i+u, j+v)落在A区，阅读全文

posted @ 2020-03-16 19:18 cltt 阅读(509) 评论(0) 推荐(0)

PyTorch中的padding（边缘填充）操作

摘要：我们知道，在对图像执行卷积操作时，如果不对图像边缘进行填充，卷积核将无法到达图像边缘的像素（3*3取卷积4*4，则边缘无法到达），而且卷积前后图像的尺寸也会发生变化，这会造成许多麻烦。因此现在各大深度学习框架的卷积层实现上基本都配备了padding操作，以保证图像输入输出前后的尺寸大小不变。例如，阅读全文

posted @ 2020-03-16 18:58 cltt 阅读(5087) 评论(0) 推荐(0)

VGG

摘要： VGGNet是牛津大学计算机视觉组（Visual Geometry Group）和Google DeepMind公司的研究员一起研发的卷积神经网络。 VGGNet探索了卷积神经网络的深度与其性能之间的关系，通过反复的使用3x3的小型卷积核和2x2的最大池化层，VGGNet成功地构筑了16～19层深的阅读全文

posted @ 2020-03-16 14:31 cltt 阅读(660) 评论(0) 推荐(0)

semi-supervised 半监督

摘要：那今天我们只考虑有label的猫跟狗的data，画一个boundary，将猫跟狗的train data分开的话，你可能就会画在中间(垂直)。那如果unlabel的分布长的像灰色的点这个样子的话，这可能会影响你的决定。虽然unlabel data只告诉我们了input，但unlabeled data 阅读全文

posted @ 2020-03-12 20:06 cltt 阅读(622) 评论(0) 推荐(0)

机器学习线性代数知识

摘要： n个矩阵相乘满足结合律凸函数阅读全文

posted @ 2020-03-10 13:54 cltt 阅读(147) 评论(0) 推荐(0)

pytorch 函数 torch.expand()

摘要： torch.expand() 参数为传入指定shape，在原shape数据上进行高维拓维，根据维度值进行重复赋值。https://blog.csdn.net/weixin_42670810/article/details/114278285 torch.nn.BatchNorm2d 函数什么是ba 阅读全文

posted @ 2020-03-06 12:21 cltt 阅读(3282) 评论(0) 推荐(0)

Ensemble 协同工作

摘要： Ensemble的框架 Ensemble的方法就是一种团队合作，好几个模型一起上的方法。第一步：通常情况是有很多的classifier，想把他们集合在一起发挥更强大的功能，这些classifier一般是diverse的，这些classifier有不同的属性和不同的作用。第二步：就是要把class 阅读全文

posted @ 2020-03-03 20:38 cltt 阅读(256) 评论(0) 推荐(0)

Recurrent neural network(RNN) 循环神经网络（下）

摘要：有了这个loss function以后，对于training，也是用梯度下降来做。也就是说我们现在定义出了loss function(L)，我要update这个neural network里面的某个参数w，就是计算对w的偏微分，偏微分计算出来以后，就用GD的方法去update里面的参数。在讲fee 阅读全文

posted @ 2020-03-02 14:44 cltt 阅读(616) 评论(0) 推荐(0)