速通 线性代数
教材《Linear Algebra, forth edition by s. H. Friedberg, A. J. Insel, L. E. Spence》。
chap 1.7 2.7 3.3 3.4 4.5 5.3 6.7伪逆部分 6.9 6.10 6.11 7.4 没学。
请注意，这篇博客是博主复习所用，可能不一定适合从零开始的线代学习，若有笔误欢迎提出。
一般默认 \(V,W\) 是向量空间，\(v,w\) 是向量，\(T,U\) 是 \(V\rightarrow W\) 的线性变换，\(\beta,\gamma\) 是基底，\(A\) 是矩阵，\(D\) 是对角矩阵。
本文默认在有限维空间下讨论问题。
第一章 向量空间
向量空间
向量空间
判定：VS1 加法交换律，VS2 加法结合律，VS3 左加零元，VS4 加法逆元，VS5 左乘幺元，VS6 数乘结合律，VS7 对向量空间元素的数乘分配律，VS8 对系数的数乘分配律。
子空间
判定：存在零元，\(x,y\in W\Rightarrow cx+y\in W\)。
线性方程组
高消都会吧？
LU 分解
不一定所有矩阵都能 LU 分解。
我们在高消的过程中，仅允许使用“第 \(i\) 行减去 \(k\) 倍的第 \(j\) 行（\(j<i\)）”这一操作，将操作矩阵按时间顺序从左到右乘起来得到 \(L\)，将最后得到的上三角矩阵作为 \(U\)。
此时 \(L\) 对角线元素均为 \(1\)，保证了 LU 分解的唯一性。
在预处理 LU 分解后，对于方程组 \(Ax=b\) 我们能写出 \(y=Ux\)，于是只需解决 \(Ly=b,Ux=y\)，三角矩阵的解容易递推求得。注意若 \(n<m\)，在求解 \(Ux=y\) 时，我们不妨令 \([x+1,m]\) 这些元为 \(0\) 得到一特解，接下来以前面 \(n\) 个向量为基底线性组合出后面每个元的系数，将零空间相加变凑出来了原方程组的解。
线性相关与基底
替换定理
任何线性无关的集合可以扩张成一组基底。
子空间 \(W\) 的基底扩张成 \(V\) 的基底后，增加的元素 \(+W\) 是 \(V/W\) 的基底。
第二章 线性变换与矩阵
线性变换
线性变换
判定：\(T(cx+y)=cT(x)+y\)。
\(V\) 到 \(V\) 的线性变换叫线性算子（linear operator）。
\(F\) 上的函数到 \(F\) 的线性变换叫线性泛函（linear functional）。
所有 \(V\rightarrow W\) 的线性变换构成空间 \(\mathcal L(V,W)\)，维数为 \(\dim(V)\cdot\dim(W)\)。
对于维数 \(>1\) 的有限维线性空间 \(V\) 以及其上的线性函数 \(T:V\rightarrow F\)，一定能找到 \(0\ne x\in V\) 使得 \(T(x)=0\)（考虑任取非零 \(u,v\) 使得 \(T(u)\ne 0\) 且 \(\{u,v\}\) 线性无关，令 \(x=T(v)u-T(u)v\ne 0\) 即可）。
像空间与零空间
像空间记作 \(R(T),\operatorname{Im} T\) 其维数记作 \(\operatorname{rank}(T)\)，零空间记作 \(N(T),\ker T\) 其维数记作 \(\operatorname{nullity}(T)\)。
维度定理：\(\operatorname{rank}(T)+\operatorname{rank}(T)=\dim(V)\)。
- \(T\) 是 one-to-one（单射）当且仅当 \(N(T)=\{0\}\)；
- \(\dim(V)=\dim(W)\) 时以下三项等价：\(T\) 是 one-to-one，\(T\) 是 onto（满射），\(\operatorname{rank}(T)=\dim(V)\)。
对于基底 \(\beta\)，\(R(T)=\operatorname{span}(T(\beta))\)。
（证明：有心情就补）
坐标表示
向量 \(x\) 以 \(\beta\) 为基底的坐标表示记作 \([x]_\beta\)，对于 \(\beta=\{v_1,v_2,\cdots,v_n\}\) 我们将 \([T(v_1)]_\gamma,[T(v_2)]_\gamma,\cdots,[T(v_n)]_\gamma\) 的顺次拼接记作 \([T]_\beta^\gamma\)，当 \(V=W\) 时可省去上标。
对于 \(\dim(V)=\dim(W)\) 以及两者有序基底 \(\beta,\gamma\)，存在唯一的线性变换 \(T\) 将 \(\beta\) 映射到 \(\gamma\)，构造为 \([T]_\beta^\gamma=I\)。
有时我们也记 \(\phi_\beta(x)=[x]_\beta,\Phi(T)=[T]_\beta^\gamma\)，且 \(\phi,\Phi\) 也是线性变换（固定 \(\beta,\gamma\)）。
可逆与同型
矩阵求逆都会吧？
若存在可逆矩阵 \(Q\) 使得 \(B=Q^{-1}AQ\)，我们称 \(A,B\) 相似。
\(A,B\) 相似当且仅当 \(\operatorname{tr}(A)=\operatorname{tr}(B)\)（考虑 \(\operatorname{tr}(AB)=\operatorname{tr}(BA)\)）。
若存在可逆线性变换 \(T:V\rightarrow W\)，我们称 \(V,W\) 同构，\(T\) 是 \(V\) 到 \(W\) 的同型。容易发现同构当且仅当 \(\dim(V)=\dim(W)\)，因为我们能给出构造 \(\Phi(T)=[T]_\beta^\gamma\)。类似地，我们容易知道 \([x]_\beta\) 是 \(V\rightarrow F\) 的同型。
对偶空间
定义 $V\rightarrow F $ 的线性泛函组成的向量空间为 \(V\) 的对偶空间，记作 \(V^*\)。
对于某组有序基底，记 \(\mathrm f_i(x)\) 代表 \(x\) 第 \(i\) 维下标对应的线性泛函，那么 \(\{\mathrm f_1,\mathrm f_2,\cdots,\mathrm f_n\}\) 是 \(V^*\) 的基底。
定义 \(\hat x\in V^{**}\) 且对于 \(f\in V^*\) 有 \(\hat x(f)=f(x)\)，那么 \(\psi(x):V\rightarrow V^{**}\) 满足 \(\psi(x)=\hat x\) 是同型.
第三章 基本行列变换与线性方程组
不会有人不会吧？
第四章 行列式
对于 \(A\in M_{n\times n}(F)\)，在固定所有 \(i\ne j\) 的行后，\(\det\) 是关于第 \(j\) 行的线性变换（归纳）。
比内-柯西公式：对于 \(m\times n\) 矩阵 \(A\) 与 \(n\times m\) 矩阵 \(B\)（\(n\geqslant m\)），有 $$\det(AB)=\sum_{|S|=m}\det(A_S)\det(B_S)$$（\(A_S,B_S\) 表示列/行下标在 \(S\) 中的子矩阵）。方阵的版本是 \(\det (AB)=\det(A)\det(B)\)。
克莱姆法则：对于线性方程组 \(Ax=b\)，若 \(\det A\) 非零，那么有唯一解 \(x_i=\frac{\det(M_k)}{\det A}\)，其中 \(M_k\) 表示将 \(A\) 的第 \(k\) 列替换成 \(b\) 形成的矩阵（将 \(I\) 的第 \(k\) 列替换为 \(x\) 得到 \(X_k\)，注意到 \(AX_k=M_k\)）。
\(\det\pmatrix{A&B\\O&C}=\det(A)\det(C)\)。证明考虑先判掉 \(C\) 不可逆，否则我们有 \(\pmatrix{I&O\\O&C^{-1}}\pmatrix{A&B\\O&C}=\pmatrix{A&B\\O&I}\)，后者归纳逐行消去右下。
范德蒙德矩阵行列式：\(\det \pmatrix{1&c_0&c_0^2&\cdots&c_0^k\\1&c_1&c_1^2&\cdots&c_1^k\\\vdots&\vdots&\vdots&\ddots&\vdots\\1&c_k&c_k^2&\cdots&c_k^k}=\prod_{0\leqslant i<j\leqslant k}(c_j-c_i)\)。证明考虑归纳，然后逐列作差分消去第一行。
第五章 对角化
特征值与特征向量
特征多项式最高项系数为 \((-1)^n\)。
求特征值的方法：特征多项式求根。
求特征向量的方法：对于特征值 \(\lambda\)，其对应特征向量 \(\in N(T-\lambda I)\) 且非零。
对于互不相同的 \(k\) 个特征值 \(\lambda_1,\lambda_2,\cdots,\lambda_k\)，对于所有 \(i\) 我们任取 \(E_{\lambda_i}\) 的一个有限线性无关子集，那么这些子集的并同样线性无关。
特征值的几何重数不超过其代数重数。
可对角化当且仅当特征多项式可分解，且所有特征值的几何重数等于代数重数。另一个充要条件是 \(V\) 是各个特征空间的直和。因此若 \(T\) 可对角化，对于每个 \(E_{\lambda_i}\) 任取一组有序基底，其并一定是 \(V\) 的有序基底。
不变子空间与卡莱·哈密顿定理
对于 \(V\) 的一个 \(T-\)不变子空间 \(W\)，\(T_W\) 的特征多项式整除 \(T\) 的特征多项式（取 \(W\) 基底并扩展到 \(V\) 基底 \(\beta\)，那么 \([T]_\beta=\pmatrix{A_1&A_2\\O&A_3}\)，其中 \(B_1\) 即 \([T_W]_\beta\)）。
对于任意非零向量 \(v\in V\) 生成的 \(T-\)循环子空间 \(W\)，令 \(k=\dim(W)\)，我们有：① \(\{v,T(v),\cdots,T^{k-1}(v)\}\) 是 \(W\) 的一组基底；②若 \(a_0v+a_1T(v)+\cdots+a_{k-1}T^{k-1}(v)+T^k(v)=0\)，那么 \(T_W\) 的特征多项式为 \(f(t)=(-1)^k(a_0+a_1t+\cdots a_{k-1}t^{k-1}+t^k)\)（取 ① 中的基底，那么 \([T]_\beta=\pmatrix{0&0&\cdots&0&-a_0\\1&0&\cdots&0&-a_1\\\vdots&\vdots&\ddots&\vdots&\vdots\\0&0&\cdots&1&-a_{k-1}}\)）。
卡莱·哈密顿定理：一个线性变换/矩阵的特征多项式是其零多项式。
将 \(V\) 写作若干 \(T-\)不变子空间 \(W_i\) 的直和，那么 \(T\) 的特征多项式 \(f(t)\) 是每个 \(T_{W_i}\) 的特征多项式的乘积。
对于 \(A\in M_{n\times n}(F)\)，假设其特征多项式为 \(f(t)=(-1)^nt^n+a_{n-1}t^{n-1}+\cdots+a_1t+a_0\)，那么 \(A\) 可逆当且仅当 \(a_0\ne 0\)，且若 \(A\) 可逆那么 \(A^{-1}=-\frac1{a_0}\sum_{i=1}^n a_iA^{i-1}\)（前者考虑 \(\det(A)=f(0)=a_0\)，后者直接计算）。
\(T\) 的特征多项式是 \(T_W\) 与 \(\overline T\) 的特征多项式乘积，其中 \(\overline T:V/W\rightarrow V/W\) 满足 \(\overline T(v+W)=T(v)+W\)（将 \(T_W\) 基底扩张成 \(T\) 的基底，那么 \([T]_\beta=\pmatrix{B_1&B_2\\O&B_3}\)，容易证明 \([\overline T]_\beta=B_3\)）。
第六章 内积空间
内积空间
内积的判定：① \(\langle x+z,y\rangle=\langle x,y\rangle+\langle z,y\rangle\)；② \(\langle cx,y\rangle=c\langle x,y\rangle\)；③ \(\overline{\langle x,y\rangle}=\langle y,x\rangle\)；④ \(\langle x,x\rangle>0\) 当且仅当 \(x\ne0\)。
柯西-施瓦茨不等式：\(|\langle x,y\rangle|\leqslant ||x||\cdot||y||\)，取等当且仅当 \(x=ay\)（考虑展开 \(||x-\frac{\langle x,y\rangle}{||y||^2}y||^2\)）。
三角形不等式：\(||x+y||\leqslant ||x||+||y||\)，取等当且仅当 \(x=ay\) 且 \(a\in\R^+\cup\{0\}\)（考虑展开 \(||x+y||^2=||x||^2+2\mathfrak R\langle x,y\rangle+||y||^2\)，并将 \(\mathfrak R\langle x,y\rangle\) 松成 \(|\langle x,y\rangle|\) 再用柯西-施瓦茨不等式）。
对于任意正交子集 \(S\)，对任意 \(y\in\operatorname{span}(S)\) 都有 \(y=\sum_{i=1}^k\frac{\langle y,v_i\rangle}{||v_i||^2}v_i\)。
葛兰·施密特过程：对于任意线性无关子集 \(S=\{w_1,w_2,\cdots,w_n\}\)，我们生成 \(v_1=w_1,v_k=w_k-\sum_{i=1}^{k-1}\frac{\langle w_k,v_i\rangle}{||v_i||^2}v_i\)，那么 \(\{v_1,v_2,\cdots,v_k\}\) 是张成空间不变的正交集合。
对于 \(W\subseteq V\)，以及任意 \(y\in W\)，存在唯一的 \(u\in W,z\in W^{\perp}\) 满足 \(y=u+z\)。更进一步地，对于 \(W\) 的标准正交基底 \(\{v_1,v_2,\cdots,v_k\}\)，那么 \(u=\sum_{i=1}^k\langle y,v_i\rangle v_i\)。这样的 \(u\) 是 \(W\) 内“最接近” \(y\) 的向量，即 \(\forall x\in W,||y-x||\geqslant ||y-u||\)。
子空间 \(W\) 的标准正交基底扩张成 \(V\) 的基底后，增加的元素是 \(W^\perp\) 的标准正交基底。
伴随算子
对于线性变换 \(g:V\rightarrow F\)，存在唯一的 \(y\in V\) 满足 \(g(x)=\langle x,y\rangle\)（取某一标准正交基底，构造 \(y=\sum_{i=1}^n\overline{g(v_i)}v_i\)）。
线性算子 \(T\) 存在唯一的线性算子 \(T^*:V\rightarrow V\) 满足 \(\langle T(x),y\rangle=\langle x,T^*(y)\rangle\)（定义函数 \(g(x)=\langle T(x),y\rangle\)，接下来根据 \(y\) 找到 \(y'\) 满足 \(g(x)=\langle x,y'\rangle\)，令 \(T^*\) 对应 \(y\rightarrow y'\) 的线性变换）。
但是上面提供的计算方法过于繁琐，事实上对于任意标准正交基底 \(\beta\)，\([T^*]_{\beta}=[T]_{\beta}^*\)，于是我们只需求其矩阵形式的伴随。
若 \(T\) 可逆，那么 \(T^*\) 可逆且 \((T^*)^{-1}=(T^{-1})^*\)。
最小解
我们想找到 \(||Ax-y||\) 的最小解，相当于在 \(W=\{Ax\}\) 找 \(y\) 最接近的向量 \(x_0\)，而且根据上一节的分析，\(x_0\) 事实上只需满足 \(Ax_0-y\in W^\perp\)，于是 \(\langle Ax,Ax_0-y\rangle=0\)，只需取 \(x_0\) 为 \(A^*(Ax_0-y)=0\) 的解即可，在 \(A^*A\) 可逆时 \(x_0=(A^*A)^{-1}A^*y\)。
最小二乘法是 \(x\) 只有两行时的特例，根据 \(A^*Ax_0=A^*y\)，我们事实上只需解方程：\(\pmatrix{\sum_{i=1}^m t_i^2&\sum_{i=1}^m t_i\\\sum_{i=1}^m t_i&m}\pmatrix{c\\d}=\pmatrix{\sum_{i=1}^m t_iy_i\\\sum_{i=1}^m y_i}\)。另一种方法是对 \(E=\sum_{i=1}^n(y_i-ct_i-d)^2\) 求关于 \(c,d\) 的偏导并限制其为零，能得到一致的等式。
类似地，我们也能求出 \(Ax=b\) 方程组的最小解（假设一定有解），我们只需要求解 \(s\in R(L_{A^*})\)。由于任意 \(x\) 都可以拆成 \(s\in R(L_{A^*})\) 与 \(u\in R(L_{A^*})^\perp=N(L_A)\) 之和，容易证明最小性与唯一性。
正规与自轭
正规算子：\(TT^*=T^*T\)，其有很多值得讨论的特殊情况，
- 自轭算子：\(T=T^*\)（在实数情况被称作对称）。
- 酉算子：\(TT^*=T^*T=I\)（在实数情况被称作正交）。
- 正交投影：自轭且 \(T=T^2\)。
舒尔定理：对于有限维内积空间 \(V\) 上的线性算子 \(T\)，若 \(T\) 的特征多项式可分解，那么存在标准正交基底 \(\beta\) 使得 \([V]_{\beta}\) 是上三角矩阵。
对于内积空间 \(V\) 上的正规算子 \(T\)，我们有：① \(||T(x)||=||T^*(x)||\)；②对于任意 \(c\)，\(T-cI\) 是正规的；③ 对于特征向量 \(x\)，我们有 \(T^*(x)=\overline\lambda x\)；④ 对于不同的特征值 \(\lambda_1,\lambda_2\) 对应的特征向量 \(x_1,x_2\)，\(x_1,x_2\) 正交。
\(T\) 正规当且仅当存在仅包含 \(T\) 的特征向量的的标准正交基底；实内积空间上 \(T\) 自轭当且仅当存在仅包含 \(T\) 的特征向量的标准正交基底。
若 \(T\) 正规，那么 \(N(T)=N(T^*),R(T)=N(T^*)^\perp=N(T)^\perp=R(T^*)\)。
若自轭矩阵 \(T,U\) 可交换，那么存在标准正交基底仅包含 \(T,U\) 同时的特征向量（对于 \(T\) 的任意特征空间 \(W=E_\lambda\)，证明 \(U_W\) \(W-\)不变，于是 \(U_W\) 自轭，取 \(W\) 内将其对角化的标准正交基底拼接即可）。
\(\C\) 上的卡莱·哈密顿定理证明：根据舒尔定理将 \(A\) 相似变换成上三角矩阵 \(B\)，先证明 \(f(B)=0\)。这个考虑归纳，\((B_{1,1}I-B)e_1=0\)，接下来 \((B_{i,i}I-B)e_i\) 只有前 \(i-1\) 行有值，是 \(e_1,e_2,\cdots,e_{i-1}\) 的线性组合，这个在乘上 \(\prod_{j=1}^{i-1}(B_{j,j}I-B)\) 后消去，最后有 \(f(P^{-1}BP)=P^{-1}f(B)P=O\)。
酉与正交
判断酉等价的一些检查：向量模长之和相同，特征值相同，行列式相同。
\(A\in M_{n\times n}(\C)\) 正规当且仅当 \(A\) 酉等价于某个对角矩阵，\(A\in M_{n\times n}(\R)\) 对称当且仅当 \(A\) 正交等价于某个实对角矩阵（对角化考虑选取每个特征空间的标准正交基底）。
于是根据舒尔定理，对于 \(A\in M_{n\times n}(F)\)，若 \(A\) 的特征多项式在 \(F\) 上可分解：①若 \(F=\C\)，那么 \(A\) 酉等价于某个复上三角矩阵；②若 \(F=\R\)，那么 \(A\) 正交等价于某个实上三角矩阵。
另外地，我么能知道对于正规算子，\(\operatorname{tr}(A)=\sum_{i=1}^n\lambda_i\)，以及 \(\operatorname{tr}(A^*A)=\sum_{i=1}^n|\lambda_i|^2\)（考虑 \(\operatorname{tr}(AB)=\operatorname{tr}(BA)\)），还有一个结论是 \(\det(A)=\prod_{i=1}^n\lambda_i\)。
酉算子
酉算子的不变子空间的正交空间仍然是不变子空间（无限维时的 hack：构造一条首尾均无限的链并考察其前一半）。
\(T\) 是酉算子等价于：①对任意 \(x\) 有 \(||T(x)||=||x||\)；②对任意 \(x,y\) 有 \(\langle T(x),T(y)\rangle=\langle x,y\rangle\)；③将任意标准正交基底映射到标准正交基底；④将某组标准正交基底映射到标准正交基底；
- 推论 1：\(V\) 存在仅包含 \(T\) 特征向量的标准正交基底，且对应的特征值的绝对值为 \(1\)，当且仅当 \(T\) 自轭且是正交算子。
- 推论 2：\(V\) 存在仅包含 \(T\) 特征向量的标准正交基底，且对应的特征值的绝对值为 \(1\)，当且仅当 \(T\) 是酉算子。
刚体运动
称 \(f\) 是刚体运动当且仅当任意 \(x,y\) 都有 \(||x-y||=||f(x)-f(y)||\)。
对于实内积空间 \(V\) 上的刚体运动 \(f:V\rightarrow V\)，\(V\) 上存在唯一的正交算子 \(T\) 以及唯一的平移 \(g\) 满足 \(f=g\circ T\)。
在 \(\R^2\) 上，正交算子要么是 \(\det=1\) 的旋转，要么是 \(\det=-1\) 的反射（反射轴过原点），因此刚体运动要么是旋转后平移，要么是反射后平移。
\(\R^2\) 上旋转 \(\phi\) 度：\(\pmatrix{\cos\phi&-\sin\phi\\\sin \phi&\cos \phi}\)，\(\R^2\) 上沿倾斜角为 \(\psi\) 的直线反射：\(\pmatrix{\cos2\psi&\sin2\psi\\\sin2\psi&-\cos2\psi}\)。
正交投影与谱定理
定义投影 \(T\) 是正交投影当且仅当 \(R(T)^\perp=N(T)\) 且 \(N(T)^\perp=R(T)\)（若是有限维空间只需满足某一者），容易发现正交投影关于 \(W_1\) 是唯一的。\(T\) 是正交投影当且仅当 \(T^*\) 存在且 \(T^2=T=T^*\)。
谱定理
谱定理（正规算子的正交对角化）：定义互不相同的特征值 \(\lambda_1,\lambda_2,\cdots,\lambda_k\) 对应的特征空间为 \(W_1,W_2,\cdots,W_k\)，以及 \(V\) 到 \(W_i\) 的投影为 \(T_i\)，假设 \(T\) 是正规的（\(F=\C\)）或是自轭的（\(F=\R\)），那么以下命题成立：① \(V=W_1\oplus W_2\oplus\cdots \oplus W_k\)；②定义 \(W_i'\) 为所有 \(j\ne i\) 的 \(W_j\) 直和，那么 \(W_i^\perp=W_i'\)；③ \(T_iT_j=\delta_{i,j}T_i\)；④ \(I=T_1+T_2+\cdots+T_k\)；⑤ \(T=\lambda T_1+\lambda_2 T_2+\cdots+\lambda_k T_k\)。
- 推论 1：若 \(F=\C\)，那么 \(T\) 正规当且仅当存在多项式 \(g\) 使得 \(T^*=g(T)\)（构造只需插值 \(g(\lambda_i)=\overline{\lambda_i}\)）。
- 推论 2：若 \(F=\C\)，那么 \(T\) 是酉算子当且仅当 \(T\) 正规且 \(|\lambda|=1\)。
- 推论 3：若 \(F=\C\) 且 \(T\) 正规，那么 \(T\) 自轭当且仅当 \(T\) 的每个特征值都是实的。
- 推论 4：若 \(T\) 是谱定理中所描述的线性算子，那么每个 \(T_i\) 都是 \(T\) 的一个多项式（构造只需插值 \(g_j(\lambda_i)=\delta_{i,j}\)）。
容易发现 \(T^k=\sum \lambda^k_i T_i\)，在 \(k\) 是有理数时，右式也是满足条件的一种构造。
一些估计
利用谱定理，我们能对 \(x^*Ax\) 的值做估计（令 \(T=L_A\)）：\(x^*Ax=(\sum a_i T_i(x))^*(\sum a_i T(T_i(x)))=\sum||a_i||^2\lambda_i\)，而 \(\sum||a_i||^2=||x||^2\)，因此 \(\lambda_1||x||^2\leqslant x^*Ax\leqslant \lambda_k||x||^2\)（假设 \(\lambda_1\leqslant\lambda_2\leqslant\cdots\leqslant\lambda_k\)）。
- 推论 1：若 \(A,B\) 自轭，且 \(A\) 的特征值在 \([L_1,R_1]\) 内 \(B\) 的特征值在 \([L_2,R_2]\) 内，那么 \(A+B\) 的特征值在 \([L_1+L_2,R_1+R_2]\) 内（对于 \((A+B)v=\lambda v\)，\(\lambda||v||^2=v^*(A+B)v=v^*Av+v^*Bv\in[L_1+L_2,R_1+R_2]||v||^2\)）。
- 推论 2：\(A^*A\) 的特征值在 \([L,R]\) 内，那么 \(A\) 的特征值的绝对值在 \([\sqrt L,\sqrt R]\) 内（考虑 \(x^*A^*Ax=(Ax)^*(Ax)=||\lambda x||^2\)）。
奇异值分解
奇异值分解是非方阵的对角化，\(A=U\Sigma V^*\)，\(U,V\) 是酉矩阵，\(\Sigma\) 只有对角线上有值且大小与 \(A\) 一致。
流程：用标准正交基底将 \(A^*A\) 对角化，令 \(V\) 为标准正交基底拼接的矩阵，\(\Sigma\) 对角线上是特征值开根后从大到小的排列（由于 \(A^*A\) 半正定，特征值一定非负），\(U\) 为 \(Av_1,Av_2,\cdots,Av_r\) 的拼接（\(r=\operatorname{rank}A\)），最后将各个矩阵补零/扩张成更大的基底得到最终结果。
正定与半正定
正定的前提是自轭。
若 \(T\) 正定/半正定，那么 \(T^{-1}\) 正定/半正定。
\(T\) 正定/半正定当且仅当其特征值为正/非负（正交对角化 \(T\)，接下来在对应基底下直接计算 \(\langle T(x),x\rangle\)）。
\(T\) 半正定当且仅当存在方阵 \(B\) 使得 \([T]_\beta=B^*B\)（正交对交化 \(T\)，给对角矩阵开根并分配至两侧）。
若半正定算子 \(T,U\) 满足 \(T^2=U^2\) 那么 \(T=U\)。
若半正定算子 \(T,U\) \(T,U\) 可交换，那么 \(TU=UT\) 半正定。
酉等价的矩阵正定性/半正定性相同。
半正定方阵的奇异值与特征值相同（\(A^*A(x)=A^2(x)=\lambda^2 x\)）。
正定方阵的奇异值分解 \(A=U\Sigma V^*\) 满足 \(U=V\)（\(A^2=A^*A=V\Sigma^2 V^*=(V\Sigma V^*)^2\) 于是 \(A=V\Sigma V^*\)，再根据 \(A\) 半正定推出 \(\Sigma\) 可逆）。
对于任意方阵 \(A\)，我们能找到酉矩阵与正半定矩阵乘积为 \(A\)，若 \(A\) 可逆那么这样的分解是唯一的（\(A=WP=ZQ\Rightarrow Z^*W=QP^{-1}\) 于是 \(QP^{-1}\) 是酉矩阵，这会推出 \(P=Q\)），这种分解被称作极分解，我们可以利用 \(A=(UV^*)(V\Sigma V^*)\) 来构造（右边酉等价于正半定矩阵 \(\Sigma\) 因此正半定）。
双线性型与二次型
双线性型
从双线性型到两维各自代入基底 \(\beta\) 内向量形成的矩阵 \(\psi_\beta:\mathcal B(v)\rightarrow M_{n\times n}(F)\) 是同型，于是我们立即得到 \(H(x,y)=[\phi_\beta(x)]^t\psi_\beta(H)[\phi_\beta(y)]\)。
在有限维实内积空间上，\(H(x,y)=\langle x,T(y)\rangle\) 是 \(H\in \mathcal B(V),T\in\mathcal L(V,V)\) 的一一对应（考虑取标准正交基底 \(v_1,v_2,\cdots,v_n\) 于是有 \(\langle x,T(y)\rangle=\sum_{i=1}^n\langle x,v_i\rangle\langle T(y),v_i\rangle=[\phi_\beta(x)]^t[\phi_\beta(T(y))]=[\phi_\beta(x)]^t[T]_\beta[\phi_\beta(y)]\)）。
合同变换
\(\psi_\gamma(H)=Q^t\psi_\beta(H)Q\)，当且仅当 \(Q\) 是 \(\gamma\rightarrow\beta\) 的坐标变换矩阵，这里要和正常的坐标变换 \(Q^{-1}[T]_\beta Q\) 作区分。
在非特征为二的域上，双线性型可合同对角化当且仅当对称。
对称矩阵的合同对角化：重复高斯消元的过程足够了，为方便可以在消元过程中顺便记录行变换得到的 \(Q^t\)。在内积空间上我们也可以选择一组标准正交基底对矩阵进行对角化，并有 \(Q^tHQ=Q^{-1}HQ\)。
二次型
对于二次型 \(K\)，我们取使其对应双线性型 \(H\) 对角化的某一标准正交基底 \(\beta=\{v_1,v_2,\cdots,v_n\}\)，令 \(\psi_\beta(H)\) 对角线元素为 \(\lambda_1,\lambda_2\,\cdots,\lambda_n\)，对于 \(x=\sum s_iv_i\) 有 \(K(x)=\sum \lambda_i s^2_i\)，这提供了将二次型换元成平方和的方法（可用来证明解集为 ellipsoid）。
第七章 约旦标准型
求 jordan 标准型的方法：先求出特征值，对于每一特征值 \(\lambda\)，取 \(E_{\lambda}\) 的一组基底。对于每一基底内元素 \(v\)，重复执行令 \(w\) 为 \((T-\lambda I)x=v\) 的特解，并令 \(v\leftarrow w\)，重复执行直到无解，将所有得到的向量求并即为最终基底。
一些其他知识鸽了。
最小多项式：特征多项式，接着对因子试除法 / 求出 Jordan 标准型后，对于每个特征值 \(\lambda_i\)，取最大的 jordan 块大小 \(l_i\)，\(\prod(x-\lambda_i)^{l_i}\) 即为最小多项式。
bilinear form：双线性型
cofactor：余子式
conjugate：共轭
coset：陪集
ellipsoid：椭球
gaussian elimination：高斯消元
gram-schmidt：葛兰·施密特
isomorphism：同型
jordan canonical form：约旦标准型
language interpolation formula：拉格朗日插值
least square approximation：最小二乘法
multiplicity：重数
norm：模长
orthogonal：正交
orthonormal：标准正交
one-to-one：单射
polar decomposition：极分解
positive definite：正定
positive semidefinite：半正定
quadratic form：二次型
rigid motion：刚体运动
singular value：奇异值
spectral decomposition：谱分解
translation：平移
