摘要： 设总体分布,X1,…,Xn为来自这个总体中抽出的样本，则样本（X1,…,Xn）的分布为：，记为。 固定，而看做x1,…,xn的函数时，L是一个概率密度函数。可以这样理解：若，则在观察时出现这个点的可能性要比出现这个点的可能性要大。把这件事反过来，可以这样想：当已经观察到时，若，则被估计的参数是的可能性要比是的可能性大。 当固定而把L看做是的函数时，它称为“似然函数”。这个名称的意义，可根... 阅读全文

摘要： 先试想一下，对于一个简单的二分类问题，我们如何选择合适的算法？ 我们有许许多多的H，如何选择出最为合适的算法？ 最合理的方法是：对于每一个H，我们选择出Eout最小的g，然后对于各个g，再选择Eout最小的。然而，我们并不知道Eout怎么求。 使用Ein显然不合理。 我们之前就说过，Etest的作用 阅读全文

摘要： 从一个问题说起： 当我们使用H10去拟合曲线的时候，其实我们只想要H2的结果。如果从H10变回到H2呢？ 所以我们只需要添加上限制条件：w3=...=w10=0即可。现在呢，我们可以放宽一点条件：任意8个w为0即可。 但是像这种问题是NP-Hard问题，需要枚举所有的情况。 我们再放宽一点条件： 对 阅读全文

摘要： 我们之前解决过一个理论问题：机器学习能不能起作用？现在来解决另一个理论问题：过度拟合。 正如之前我们看到的，很多时候我们必须进行nonlinear transform。但是我们又无法确定Q的值。Q过小，那么Ein会很大；Q过大，就会出现过度拟合问题。如下图所示： 那么overfitting具体受什么 阅读全文

摘要： 前文中，我们已经学习了linear classification，linear regression，logistic regression三种线性方法。 如何解决这种问题呢？ 其实很好解决，只需要加入一些二次项即可。 这种思路非常简单易懂，我们关心的是：这样做会带来什么样的后果。 根据之前我们讲过 阅读全文

摘要： 之前我们都是在Binary classification的基础上学习算法和知识。 如何使用Binary classification算法进行Multiclass classification呢？ （一）One Versus All （OVA）Decomposition 现在有k种类别，如何进行分类呢？ 思路1：分辨是这一类or不是这一类（Yes or Not），将问题转化成k个bina... 阅读全文

摘要： 到现在，我们已经学过三种线性方法：linear classification、Linear Regression、logistic Regression。这三种方法的核心都是,不同点在于：最小化的error不同。linear classification的error是0/1 error；Linear Regression的error是squared error；logistic Regressio... 阅读全文

摘要： （一）正交集与正交基 如果，S中任何两个不同的向量都正交，那么，S称为正交向量集。 如果S是正交向量集 并且是 线性无关集，那么S是正交集。 证明： 同理，所有的ci都是0，所以S是线性无关集。 上述证明思路在下文中会经常使用，故称之为证明方法1. （二）正交投影 假设是Rn子空间W的正交基，对W中 阅读全文

摘要： 此笔记源于台湾大学林轩田老师《机器学习基石》《机器学习技法》 （一）Logistic Regression 原理 对于分类问题，假设我们想得到的结果不是（x属于某一类）这种形式，而是（x属于某一类的概率是多少）这种形式。 因为s的范围是(-∞，+∞), 而概率的范围是[0,1],所以我们需要一个映射 阅读全文

摘要： 此笔记源于台湾大学林轩田老师《机器学习基石》《机器学习技法》 我们已经学习过PLA算法，所谓的线性模型就是：计算核心为。PLA是一种分类方法，这里介绍线性回归方法（与概率与统计中的线性回归相同）。 令，则有： 我们需要最小化Ein。 通过上式，可以看出Ein是continuous，different 阅读全文