链接：https://www.zhihu.com/question/19666954/answer/54788626
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
首先，矩阵可以认为是一种线性变换，而且这种线性变换的作用效果与基的选择有关。
以Ax = b为例，x是m维向量，b是n维向量，m,n可以相等也可以不相等，表示矩阵可以将一个向量线性变换到另一个向量，这样一个线性变换的作用可以包含旋转、缩放和投影三种类型的效应。
奇异值分解正是对线性变换这三种效应的一个析构。
A=，
和
是两组正交单位向量，
是对角阵，表示奇异值，它表示我们找到了
和
这样两组基，A矩阵的作用是将一个向量从
这组正交基向量的空间旋转到
这组正交基向量空间，并对每个方向进行了一定的缩放，缩放因子就是各个奇异值。如果
维度比
大，则表示还进行了投影。可以说奇异值分解将一个矩阵原本混合在一起的三种作用效果，分解出来了。
而特征值分解其实是对旋转缩放两种效应的归并。（有投影效应的矩阵不是方阵，没有特征值）
特征值，特征向量由Ax=x得到，它表示如果一个向量v处于A的特征向量方向，那么Av对v的线性变换作用只是一个缩放。也就是说，求特征向量和特征值的过程，我们找到了这样一组基，在这组基下，矩阵的作用效果仅仅是存粹的缩放。对于实对称矩阵，特征向量正交，我们可以将特征向量式子写成
，这样就和奇异值分解类似了，就是A矩阵将一个向量从x这组基的空间旋转到x这组基的空间，并在每个方向进行了缩放，由于前后都是x，就是没有旋转或者理解为旋转了0度。
总结一下，特征值分解和奇异值分解都是给一个矩阵(线性变换)找一组特殊的基，特征值分解找到了特征向量这组基，在这组基下该线性变换只有缩放效果。而奇异值分解则是找到另一组基，这组基下线性变换的旋转、缩放、投影三种功能独立地展示出来了。我感觉特征值分解其实是一种找特殊角度，让旋转效果不显露出来，所以并不是所有矩阵都能找到这样巧妙的角度。仅有缩放效果，表示、计算的时候都更方便，这样的基很多时候不再正交了，又限制了一些应用。
3. 我理解的
对于我们通常所用的 y=Ax 形式，矩阵A本质上表示对向量x的线性变换。由于向量（二维或以上）都可以表示为不同（正交）基的线性组合（合力），e.g., 笛卡尔坐标系下的数， a*X+b*Y+c*Z, (X,Y,Z)即为典型的正交基，因此我们只需关注矩阵A对于一组正交基（e.g., u1,u2,...un）的作用效果，则当A作用在某一输入X上时，只需将X表示为各个基的线性组合形式，i.e., X=a1*u1+a2*u2+...+an*un,则A对于X的作用结果，便是A对各个基作用效果的线性叠加。
而当A不是方阵时，则无法找到一组正交基进行表示，一次将其表示为两组基内积的形式，i.e.,
....
