Dropout 在训练的时候，随机失活的实现方法是让神经元以超参数的概率被激活或者被设置为0。 在训练过程中，随机失活可以被认为是对完整的神经网络抽样出一些子集，每次基于输入数据只更新子网络的参数（然而，数量巨大的子网络们并不是相互独立的，因为它们都共享参数） 在测试过程中不使用随机失活，可以理解为 Read More
本文转自：https://www.cnblogs.com/dupuleng/articles/4341265.html dropout的提出是为了防止在训练过程中的过拟合现象，那就有人想了，能不能对每一个输入样本训练一个模型，然后在test阶段将每个模型取均值，这样通过所有模型共同作用，可以将样本最 Read More
集成即多个模型进行融合。 生成多个模型的方法有很多，比如： 1.对数据进行放回重采样的bagging方法--从数量为n的原始数据D中分别独立随机的抽取n次，由于是放回重采样，每次抽取的候选集都是同样的n个数据，这样得到的新数据集用于训练模型。重复这个过程，就会得到多个模型。 2.Boosting方法 Read More
概念 L0正则化的值是模型参数中非零参数的个数。 L1正则化表示各个参数绝对值之和。 L2正则化标识各个参数的平方的和的开方值。 先讨论几个问题： 1）实现参数的稀疏有什么好处吗？ 一个好处是可以简化模型，避免过拟合。因为一个模型中真正重要的参数可能并不多，如果考虑所有的参数起作用，那么可以对训练数 Read More
在深度学习应用中训练数据往往不够，可以通过添加噪声、裁剪等方法获取更多的数据。另外，考虑到噪声的多样性，可以通过添加不同种类的噪声获取更多类型的数据，比如裁剪、旋转、扭曲、拉伸等不同的方法生成不同的数据。 主要方法有：修改图片尺寸、按比例缩放、加噪声、反转、旋转、平移、缩放变换、剪切、对比度变换、随 Read More