摘要： 之前我们都是在Binary classification的基础上学习算法和知识。 如何使用Binary classification算法进行Multiclass classification呢？ （一）One Versus All （OVA）Decomposition 现在有k种类别，如何进行分类呢？ 思路1：分辨是这一类or不是这一类（Yes or Not），将问题转化成k个bina... 阅读全文

摘要： 到现在，我们已经学过三种线性方法：linear classification、Linear Regression、logistic Regression。这三种方法的核心都是,不同点在于：最小化的error不同。linear classification的error是0/1 error；Linear Regression的error是squared error；logistic Regressio... 阅读全文

摘要： （一）正交集与正交基 如果，S中任何两个不同的向量都正交，那么，S称为正交向量集。 如果S是正交向量集 并且是 线性无关集，那么S是正交集。 证明： 同理，所有的ci都是0，所以S是线性无关集。 上述证明思路在下文中会经常使用，故称之为证明方法1. （二）正交投影 假设是Rn子空间W的正交基，对W中 阅读全文