"模式识别与机器学习"读书笔记——1.2 Probability Theory

1.2.0

基本的概率知识回顾，包括概率的乘积原则、求和原则，independent。你可以确定解决这种问题就ok了：

一个红盒子里装了2个苹果与6个橘子，一个蓝盒子里装了3个苹果与1个橘子，拿红盒子的概率是40%，

请问随机选个盒子再拿出一个水果是苹果的概率？如果拿出的是橘子，这个橘子来自红盒子的概率？

另外要注意，如果红盒子与蓝盒子中的苹果橘子比例相同，则选盒子与选水果是独立事件，要会判断

1.2.1 Probability densities

概率密度分布的基础知识：积分得到的面积才是概率，累计分布函数的概念。

1.2.2 Expectations and covariances

期望与方差的求法，两个变量的概率分布的期望方差，多个变量的期望方差

1.2.3 Bayesian probabilities

贝叶斯理论，主要用于描述一个结果的不确定程度。很重要，本书主要偏向这个方法。（"place a strong emphasis on the Bayesian view point"）

比如第一章那个多项式参数求出来是w，用bayesian可以得到在观测序列是D的情况下，参数是w的概率是多少。
本节并没有给出具体的求解，只是提了下概念，有关bayesian的优缺点：它要考虑prior情况，所以不会因为三次翻硬币都是正面而得出下一次一定是正面这样的极端结论；但prior的确定往往不简单，而且是决定bayesian算法的重要一步。

1.2.4 The Gaussian distribution

给出高斯分布的模型公式，一些特性，期望，方差。高阶高斯分布模型，期望，协方差，给定采样值，如何确定高斯分布参数能够使这个采样数据最可能发生（maximize likelihood）。在样本不够时会造成偏差（bias），可以解释当初多项式那个over-fitting问题。

1.2.5 Curve fitting re-visited

从概率的角度，用那个可能性最大化的方法再解多项式拟合问题，不但能得出预计值，还能得出预计值满足的高斯分布。

1.2.6 Bayesian curve fitting

把前面所述的方法整合一下，总结出贝叶斯拟合曲线法。