常用的神经网络损失函数
参考资料:http://blog.csdn.net/nuannuanyingying/article/details/70848765
https://www.zhihu.com/question/24827633
这里介绍较为常见的两种损失函数,分别是平方损失函数和交叉熵损失函数
1、平方损失函数
一、对输出层w的修正
假若神经网络的前向传播过程如下所示:
C表示为损失函数,那么以如下图形为例
根据反向传播链式法则过程,可以得到(y_=out1):
统一将上式中的sigmoid函数进行替换,那么上式可以简化的表示为如下:
以上的激活函数是以sigmoid为例,其中y为实际的目标值,y_为经过模型计算的目标值;
那么对w1的修正为:w1=w1-δ1x1
二、对隐藏层w的修正
隐藏层的神经网络图表示如下:
那么对w5的修正可以表示为如下:
正如输出层中将
进行表示,那么上式也同样能简化的表示为如下:
笔者再次以如下图形,往后类推w9的修正:
通过比较上面3个不同情况下的权重修正结果(输出层、隐藏层、隐藏层),那么则可以发现反向传播的基本规律,通过循环即可获取各个参数修正。
2、交叉熵损失函数