目标函数和损失函数

1.损失函数/代价函数是对模型或者算法的准确性的最直接的描述（对于二分类问题来说就是能不能正确分类的能力），而目标函数则是损失函数/代价函数的递进，目标函数考虑的可能不仅仅有模型算法的准确性，还可能要考虑模型的复杂度，可解释度等等的问题（比如目标函数在损失函数的基础之上加上各种正则项）。

当然最简单的情况就是目标函数和损失函数等价。

2.目标函数是最终需要优化的函数，其中包括经验损失和结构损失。

obj=loss+Ω

经验损失(loss)就是传说中的损失函数或者代价函数。结构损失(Ω)就是正则项之类的来控制模型复杂程度的函数

链接：https://www.zhihu.com/question/52398145/answer/143398249
来源：知乎