特征向量和特征值

　　最近在看nlp的相关论文时，特征向量和特征值的定义被频繁提及，但是由于自己的数学基础不够扎实，对这2个概念不是很理解，所以写个随笔来记录下。

　　矩阵乘法对应了一个变换，是把任意一个向量变成另一个方向或长度都大多不同的新向量。在这个变换的过程中，原向量主要发生旋转、伸缩的变化。如果矩阵对某一个向量或某些向量只发生伸缩变换，不对这些向量产生旋转的效果，那么这些向量就称为这个矩阵的特征向量，伸缩的比例就是特征值。

　　实际上，上述的一段话既讲了矩阵变换特征值及特征向量的几何意义（图形变换）也讲了其物理含义。物理的含义就是运动的图景：特征向量在一个矩阵的作用下作伸缩运动，伸缩的幅度由特征值确定。特征值大于1，所有属于此特征值的特征向量身形暴长；特征值大于0小于1，特征向量身形猛缩；特征值小于0，特征向量缩过了界，反方向到0点那边去了。
注意：常有教科书说特征向量是在矩阵变换下不改变方向的向量，实际上当特征值小于零时，矩阵就会把特征向量完全反方向改变，当然特征向量还是特征向量。我赞同特征向量不改变方向的说法：特征向量永远不改变方向，改变的只是特征值（方向反转特征值为负值了）。
　　特征向量是线性不变量。
　　所谓特征向量概念的亮点之一是不变量，这里叫线性不变量。因为我们常讲，线性变换啊线性变换，不就是把一根线（向量）变成另一根线（向量），线的变化的地方大多是方向和长度一块变。而一种名叫“特征向量”的向量特殊，在矩阵作用下不变方向只变长度。不变方向的特性就被称为线性不变量。

那么矩阵的特征值一般都用什么用呢？

(1)可以用在研究物理、化学领域的微分方程、连续的或离散的动力系统中。例如，在力学中，惯量的特征向量定义了刚体的主轴。惯量是决定刚体围绕质心转动的关键数据；

(2)被数学生态学家用来预测原始森林遭到何种程度的砍伐，会造成猫头鹰的种群灭亡；

(3)著名的图像处理中的PCA方法，选取特征值最高的k个特征向量来表示一个矩阵，从而达到降维分析+特征显示的方法，还有图像压缩的K-L变换。再比如很多人脸识别，数据流模式挖掘分析等方面。

(4)在谱系图论中，一个图的特征值定义为图的邻接矩阵A的特征值，或者（更多的是）图的拉普拉斯算子矩阵，Google的PageRank算法就是一个例子。