摘要:
前言 以下内容是个人学习之后的感悟,转载请注明出处~ Mini-batch梯度下降法 见另一篇文章:梯度下降法。 指数加权平均 其原理如下图所示,以每天的温度为例,每天的温度加权平均值等于β乘以前一天的温度加权平均值,再加上(1-β)乘以 当天温度的和。β值得选取对温度加权平均值的影响非常明显,图中 阅读全文
摘要:
前言 以下内容是个人学习之后的感悟,转载请注明出处~ softmax回归 首先,我们看一下sigmod激活函数,如下图,它经常用于逻辑回归,将一个real value映射到(0,1)的区间(当然也可以是 (-1,1)),这样可以用来做二分类。 接下来,我们再看一下softmax函数,其函数类型如下: 阅读全文
摘要:
前言 以下内容是个人学习之后的感悟,转载请注明出处~ Batch归一化 在神经网络中,我们常常会遇到梯度消失的情况,比如下图中的sigmod激活函数,当离零点很远时,梯度基本为0。为了 解决这个问题,我们可以采用Batch归一化。 通过BN法,我们将每层的激活值都进行归一化,将它们拉到均值为0、方差 阅读全文
摘要:
前言 以下内容是个人学习之后的感悟,转载请注明出处~ 超参数调试 在深度学习中,超参数有很多,比如学习率α、使用momentum或Adam优化算法的参数(β1,β2,ε)、层数layers、不同层隐藏 单元数hidden units、学习率衰退、mini=batch的大小等。其中一些超参数比其他参数 阅读全文