【线性代数】6-4:对称矩阵(Symmetric Matrices)

title: 【线性代数】6-4:对称矩阵(Symmetric Matrices)
categories:

• Mathematic
• Linear Algebra
  keywords:
• Eigenvalues
• Eigenvectors
• Symmetric Matrices
• Projection Matrices
• Spectral Theorem
• Principal Axis Theorem
  toc: true
  date: 2017-11-22 15:18:03

---

Abstract: 本篇继续线性代数的高潮部分，对称矩阵，以及对称矩阵的一些性质
Keywords: Eigenvalues，Eigenvectors，Symmetric Matrices，Projection Matrices，Spectral Theorem，Principal Axis Theorem

开篇废话

这几篇在难度上确实要比前面的内容大很多，所以看书理解和总结都变得不那么流畅了，但是慢慢看下来收获还是有很大的，而且我发现不管学的多认真，还是会有遗漏，所以我觉得之前的想法就是一次性把什么什么学会是不可能的，只能学到自己觉得达到自己能发现的最大限度，等到应用之时还是要回来查阅，这样往往会有进一步的更大发现，

Symmetric Matrices

对称矩阵我们在最早的知识里面就学过 $A^T=A$ 的矩阵叫做对称矩阵，我们也学过投影矩阵,但是当时我们并没有强调过一点就是投影矩阵都是对称的，这个性质今天在这里会有很大的用途。
我们继续说投影矩阵，所谓投影矩阵，就是在和向量 $\vec{c}$ 相乘的时候，投影到矩阵A的列空间内，那么其中，投影 $p$ 和 原向量 $\vec{c}$ 的差 $\vec{e} =\vec{c}-\vec{p}$ 与子空间正交。

举个例子，在三维空间内，A的列空间是一个二维平面那么，A对应的投影矩阵P能够把任何方向的向量投影到平面上，那么如果向量本身属于平面那么 $Px=x$ 显然是不用质疑的（我们之前在投影那篇文章中也讲过） 但是，同志们，看看这个有木有很面熟啊，这个明显就是投影矩阵 $P$ 的特征值和特征向量么？没错，$P$ 有一个平面的特征向量，可以随便选！能选多少个呢、当然是无数个，但是问题又来了，这无数多个并不是独立的，因为一共就二维，选出来三个线性独立的向量都是不可能的，所以这个平面能选出两个线性独立的特征向量，并且对应的特征值都是1，这里有人可能疑惑为啥要选两个，因为我们6-2的时候说过只有特诊向量足够的情况下才能对角化，投影矩阵明显是个3x3的矩阵，那么特征向量也应该有三个呀！我们的子空间是二维的，所以理论上应该有两个特征向量在上面，剩下一维存在一个，那么这一个也能很好找，$\vec{e}$ 就是 也就是和子空间正交的向量都行 $Px=0x$ 表明 $\vec{x}$ 和子空间正交，那么这是个特征值为0的特征向量，这样我们又进一步规范一下，选择三个特征向量相互正交，这个也是可以做到的，也就是对于矩阵P我们找到了三个相互正交的特征向量，并且长度缩放到单位长度。

以上三维投影到二维平面可以通过几何来解释，但为了能让大家从线性空间来理解，就没用几何方法，大家可以自己脑补。

得出结论，对称矩阵 $P^T=P$ 的特征向量相互正交并且为单位向量。
对称矩阵"It is no exaggeration to say that these are the most important matrices the world will ever see – in the theory of linear algebra and alos in the applications" 翻译成中文：“对称矩阵是史上最牛B的矩阵，无论在理论还是应用”
这个我们目前还无法考证，还没做过应用呢？不是么，但是我知道PCA中确实用了对称矩阵，SVD等一些列相关技术。
一个矩阵能被如此称赞，不外乎几点原因，首先是其本身拥有较好的性质，其次这个矩阵在自然生活中经常出现，就像正态分布，那么难的公式，却能准确的描述自然届的现象。最后就是如果表现形式简单，那么这个就是非常有用的东西啦。

下面我们开始探索对称矩阵的性质。
如果一个对称矩阵满足：
$suppose:\\ A^T=A\\ A=S\Lambda S^{-1}\\ then:\\ A^T=(S^{-1})^T\Lambda^T S^T$
这种情况下就有下面这种***可能***了，也就是对应的 $S=(S^{-1})^T$ 注意我们这里说的是可能，并不排除不可能的情况，原文书上用的也是possibly，也就是说我们目前假设:
$S^T=S^{-1}\\ S^TS=I$
这里我们可以预报一下：

1. 对称矩阵只有实数特征值
2. 对称矩阵特征向量可以选择正交单位向量 orthonormal

对于 $S^TS=I$ 面熟么？还有印象么？我们认识啊，正交矩阵
$Q^TQ=I$ 矩阵Q中每列之间相互正交，也就是我们对于对称矩阵可以写成：
$A=Q\Lambda Q^{-1}=Q\Lambda Q^T\\ with:\\ Q^{-1}=Q^T$

这个就是著名的普定理 “Spectral Theorem”:

Every symmetric matrix has the factorization $A=Q\Lambda Q^T$ with real eigenvalues in $\Lambda$ and orthonormal eigenvectors in $S=Q$

对于所有对称矩阵都能分解成 $A=Q\Lambda Q^T$ 的形式并且在 $\Lambda$ 中的所有特征值都是实数，其对应的特征向量是正交单位矩阵，即 $S=Q$

本文为节选，完整内容地址：https://www.face2ai.com/Math-Linear-Algebra-Chapter-6-4转载请标明出处