常用的神经网络损失函数

参考资料:http://blog.csdn.net/nuannuanyingying/article/details/70848765

       https://www.zhihu.com/question/24827633

这里介绍较为常见的两种损失函数,分别是平方损失函数和交叉熵损失函数

1、平方损失函数

一、对输出层w的修正

假若神经网络的前向传播过程如下所示:

C表示为损失函数,那么以如下图形为例

根据反向传播链式法则过程,可以得到(y_=out1):

 

 统一将上式中的sigmoid函数进行替换,那么上式可以简化的表示为如下:

以上的激活函数是以sigmoid为例,其中y为实际的目标值,y_为经过模型计算的目标值;

那么对w1的修正为:w1=w11x1

 二、对隐藏层w的修正

 隐藏层的神经网络图表示如下:

那么对w5的修正可以表示为如下:

正如输出层中将

进行表示,那么上式也同样能简化的表示为如下:

笔者再次以如下图形,往后类推w9的修正:

 

通过比较上面3个不同情况下的权重修正结果(输出层、隐藏层、隐藏层),那么则可以发现反向传播的基本规律,通过循环即可获取各个参数修正。

2、交叉熵损失函数

 

posted @ 2018-01-24 22:44  小丑_jk  阅读(1325)  评论(0编辑  收藏  举报