Tensorflow2.0笔记10——损失函数

Tensorflow2.0笔记

本博客为Tensorflow2.0学习笔记,感谢北京大学微电子学院曹建老师

4 损失函数

​ 神经网络模型的效果及优化的目标是通过损失函数来定义的。回归分类是监督学习中的两个大类。

4.1 均方误差损失函数

均方误差(Mean Square Error)是回归问题最常用的损失函数。回归问题解决的是对具体数值的预测,比如房价预测、销量预测等。这些问题需要预测的不是一个事先定义好的类别,而是一个任意实数。均方误差定义如下:

TensorFlow API:tf.keras.losses.MSE

4.2 交叉熵损失函数

交叉熵(Cross Entropy)表征两个概率分布之间的距离,交叉熵越小说明二者分布越接近,是分类问题中使用较广泛的损失函数。

image-20210622090825683

​ 对于多分类问题,神经网络的输出一般不是概率分布,因此需要引入softmax层,使得输出服从概率分布。TensorFlow中可计算交叉熵损失函数的API有:

TensorFlow API:tf.keras.losses.categorical_crossentropy

TensorFlow API:tf.nn.softmax_cross_entropy_with_logits

TensorFlow API:tf.nn.sparse_softmax_cross_entropy_with_logits

4.3 自定义损失函数

​ 根据具体任务和目的,可设计不同的损失函数。从老师课件和讲解中对于酸奶预测损失函数的设 计,我们可以得知损失函数的定义能极大影响模型预测效果。好的损失函数设计对于模型训练能够起到 良好的引导作用。

​ 例如,我们可以看目标检测中的多种损失函数。目标检测的主要功能是定位和识别,损失函数的功 能主要就是让定位更精确,识别准确率更高。目标检测任务的损失函数由分类损失(Classificition Loss)和回归损失(Bounding Box Regeression Loss)两部分构成。近几年来回归损失主要有Smooth L1 Loss(2015), IoU Loss(2016 ACM), GIoU Loss(2019 CVPR), DIoU Loss & CIoU Loss(2020 AAAI)等,分类损失有交叉熵、softmax loss、logloss、focal loss等。在此由于篇幅原因不细究,有兴趣的同学可自行研究。主要是给大家一个感性的认知:需要针对特定的背景、具体的任务设计损失函数。

posted @ 2021-01-15 18:17  Mr_WildFire  阅读(153)  评论(0编辑  收藏  举报