损失函数

(学习这部分内容大约需要40分钟)

摘要

损失函数或者说代价函数是一个把决策输出映射到一个损失实值的函数. 损失函数在机器学习, 信息论, 统计和最优化中很普遍, 它可以帮助我们在包含不确定性的问题中作出决策.

后继知识

损失函数的概念是以下知识的基础

• 贝叶斯决策理论

核心资源

(阅读/观看以下其中一个资源)

免费

• Part II Decision Theory Lecture Notes
  位置: pages 40-45

  [链接]
  作者: Liam Paninski
  备注:

  • 虽然习题很有用但不重要

增补资源

(以下资源为可选内容, 你可能发现它们很有用)

免费

• Wikipedia
  位置: 损失函数
  备注:
  • 阅读"Introduction"和"Use in Statistics"章节

付费

• Pattern Recognition and Machine Learning
  简介:一本专注于贝叶斯方法的机器学习研究生教材
  位置: Section 1.5, "Decision Theory," pages 38-39
  [网站]
  作者: Christopher M. Bishop

相关知识

• 在贝叶斯决策理论中, 我们进行推断来最小化后验期望损失(posterior expected loss). 下面给出一些重要的结果:
  • 最小化0-1损失函数产生MAP参数估计
  • 最小化平方误差损失函数产生后验均值参数估计
  • 最小化L1损失函数产生后验中位数参数估计.

---

返回贝叶斯决策理论