损失函数总结

深度学习（tensorflow）中的所有学习算法都必须有一个最小化或最大化一个函数，称之为损失函数（loss function），或“目标函数”、“代价函数”。
损失函数是衡量模型的效果评估。比如：求解一个函数最小点最常用的方法是梯度下降法（比如：全批量梯度下降 Batch GD、随机梯度下降 SGD、小批量梯度下降 mini-batch GD、Adagrad法，Adadelta法、Adam法等）。
损失函数就像起伏的山，梯度下降就像从山上滑下来到达最底部的点。

显然，不存在一个损失函数可以适用于所有的任务。损失函数的选择需要取决于很多因素，其中包括异常值的处理、深度学习算法的选择、梯度下降的时间效率等。
本文的目的介绍损失函数，以及它们的基本原理。

损失函数严格上可分为两类：分类损失和回归损失，
其中分类损失根据类别数量又可分为二分类损失和多分类损失。
在使用的时候需要注意的是：回归函数预测数量，分类函数预测标签。