摘要： 之前简要地介绍了一下线性判别函数的的基本性质，接下来我们进行更加详细的讨论。文中大部分公式和图表来自 MLPP 和 PRML我们将样本的分布用多元正态分布来近似，为了更加了解这个表达式的含义，我们对协方差矩阵做特征值分解，即Σ = UΛUT 然后将协方差矩阵的逆用同样方法分解，即代入多元正态分布的模... 阅读全文

摘要： 前面我们简要说明了贝叶斯学习的内容。由公式可以看出来，我们假定已经知道了似然概率的密度函数的信息，才能进行后验概率的预测。但有的时候，这些信息可能是不方便求出来的。因此，密度函数自身的估计问题成为了一个必须考虑的问题。第一种思考的方法是跳出估计密度函数的问题，直接对样本集使用线性回归的方法。这样做虽... 阅读全文

摘要： 上一篇中用一个直观的例子描述了贝叶斯学习的过程，现在我们看看在数学模型下具体的描述。1. 贝塔-二项分布首先又是万年不变的丢硬币的例子：小明和老婆抛硬币决定谁洗碗，小明总是担心老婆在硬币上动了手脚，他决定利用以往的数据估算硬币正面朝上的概率。假设硬币的朝向服从伯努利分布，在一系列的投掷过程中，有N1次正面朝上，N0背面朝上，则能够很轻易得出此次抛投的概率：当然这是对任意一次的抛投过程来说的，如果我... 阅读全文

摘要： 机器学习笔记（一）今天正式开始机器学习的学习了，为了激励自己学习，也为了分享心得，决定把自己的学习的经验发到网上来让大家一起分享。贝叶斯学习先说一个在著名的MLPP上看到的例子，来自于Josh Tenenbaum 的博士论文，名字叫做数字游戏。用我自己的话叙述就是：为了决定谁洗碗，小明和老婆决定玩一... 阅读全文