2015年4月29日
摘要：
特征值分解和奇异值分解在机器学习领域都是属于满地可见的方法。两者有着很紧密的关系，我在接下来会谈到，特征值分解和奇异值分解的目的都是一样，就是提取出一个矩阵最重要的特征。1.特征值： 如果说一个向量v是方阵A的特征向量，将一定可以表示成下面的形式：写成矩阵形式： 这时候λ就被称为特征向量v对应的特征... 阅读全文
摘要：
前言：如果学习分类算法，最好从线性的入手，线性分类器最简单的就是LDA，它可以看做是简化版的SVM，如果想理解SVM这种分类器，那理解LDA就是很有必要的了。 谈到LDA，就不得不谈谈PCA，PCA是一个和LDA非常相关的算法，从推导、求解、到算法最终的结果，都有着相当的相似。 本次的内容主要是以推... 阅读全文
摘要：
1、核所有经过变换矩阵后变成了零向量的向量组成的集合，通常用Ker(A)来表示。假设你是一个向量，有一个矩阵要来变换你，如果你不幸落入了这个矩阵的核里面，那么很遗憾转换后你就变成了虚无的零。特别指出的是，核实“变换”（Transform）中的概念，矩阵变换中有一个相似的概念叫“零空间”。有的材料在谈... 阅读全文
摘要：
在解释机器学习的基本概念的时候，我发现自己总是回到有限的几幅图中。以下是我认为最有启发性的条目列表。1. Test and training error:为什么低训练误差并不总是一件好的事情呢：ESL图2.11.以模型复杂度为变量的测试及训练错误函数。2. Under and overfitting... 阅读全文