神经网络参数的反向传播算法
神经网络参数的反向传播算法
代价函数
反向传播算法
要求参数θ从而使上节课代价函数是最小值。
更好地理解反向传播
将参数向量化,使在高级最优化步骤中使用。
上面语法是python语法。可直接命令行运行。
梯度检测
会有误差,so加一检测步骤。
随机初始化
代价函数和最优化函数都需要对参数进行初始化,虽然允许初始化为0,但实际上没有任何意义,相当于给所有隐藏单元都赋予相同的权值,这样的话会计算出相同特征,会带来很大冗余。
整体神经网络的步骤:
神经网络输入单元数量=特征集中特征的维度;输出=一个向量,向量维度=分类数,类似于 ; 隐藏单元数量最好是输入单元的倍数。