随笔分类 - 深度学习
摘要：首先，L1和L2正则化的目的都是减少过拟合，而正则化实际上是通过实现权重衰减而达成减少过拟合的目的的。 我们知道L1和L2正则化可以写成这种形式： 我们在应用正则化的过程中实际上是在梯度下降法优化函数的过程中实现的。我们知道，损失函数可以定义为J（W，b）,其中W是权重参数，b是偏置，一般不作考虑。
阅读全文
摘要：1.原理 对于1*1的卷积核来说,实际上就是实现不同通道数据之间的计算,由于卷积窗口为1*1,那么他不会对同一通道上相邻的数据进行改变,而是将不同通道之间的数据进行相加. 输入和输出具有相同的高和宽。输出中的每个元素来自输入中在高和宽上相同位置的元素在不同通道之间的按权重累加。假设我们将通道维当作特
阅读全文
