速通 线性代数

教材《Linear Algebra, forth edition by s. H. Friedberg, A. J. Insel, L. E. Spence》。

chap 1.7 2.7 3.3 3.4 4.5 5.3 6.7伪逆部分 6.9 6.10 6.11 7.4 没学。

请注意，这篇博客是博主复习所用，可能不一定适合从零开始的线代学习，若有笔误欢迎提出。

一般默认 $V,W$ 是向量空间，$v,w$ 是向量，$T,U$ 是 $V\rightarrow W$ 的线性变换，$\beta,\gamma$ 是基底，$A$ 是矩阵，$D$ 是对角矩阵。

本文默认在有限维空间下讨论问题。

第一章 向量空间

向量空间

向量空间

判定：VS1 加法交换律，VS2 加法结合律，VS3 左加零元，VS4 加法逆元，VS5 左乘幺元，VS6 数乘结合律，VS7 对向量空间元素的数乘分配律，VS8 对系数的数乘分配律。

子空间

判定：存在零元，$x,y\in W\Rightarrow cx+y\in W$。

线性方程组

高消都会吧？

LU 分解

不一定所有矩阵都能 LU 分解。

我们在高消的过程中，仅允许使用“第 $i$ 行减去 $k$ 倍的第 $j$ 行（$j<i$）”这一操作，将操作矩阵按时间顺序从左到右乘起来得到 $L$，将最后得到的上三角矩阵作为 $U$。

此时 $L$ 对角线元素均为 $1$，保证了 LU 分解的唯一性。

在预处理 LU 分解后，对于方程组 $Ax=b$ 我们能写出 $y=Ux$，于是只需解决 $Ly=b,Ux=y$，三角矩阵的解容易递推求得。注意若 $n<m$，在求解 $Ux=y$ 时，我们不妨令 $[x+1,m]$ 这些元为 $0$ 得到一特解，接下来以前面 $n$ 个向量为基底线性组合出后面每个元的系数，将零空间相加变凑出来了原方程组的解。

线性相关与基底

替换定理

任何线性无关的集合可以扩张成一组基底。

子空间 $W$ 的基底扩张成 $V$ 的基底后，增加的元素 $+W$ 是 $V/W$ 的基底。

第二章 线性变换与矩阵

线性变换

线性变换

判定：$T(cx+y)=cT(x)+y$。

$V$ 到 $V$ 的线性变换叫线性算子（linear operator）。

$F$ 上的函数到 $F$ 的线性变换叫线性泛函（linear functional）。

所有 $V\rightarrow W$ 的线性变换构成空间 $\mathcal L(V,W)$，维数为 $\dim(V)\cdot\dim(W)$。

对于维数 $>1$ 的有限维线性空间 $V$ 以及其上的线性函数 $T:V\rightarrow F$，一定能找到 $0\ne x\in V$ 使得 $T(x)=0$（考虑任取非零 $u,v$ 使得 $T(u)\ne 0$ 且 $\{u,v\}$ 线性无关，令 $x=T(v)u-T(u)v\ne 0$ 即可）。

像空间与零空间

像空间记作 $R(T),\operatorname{Im} T$ 其维数记作 $\operatorname{rank}(T)$，零空间记作 $N(T),\ker T$ 其维数记作 $\operatorname{nullity}(T)$。

维度定理：$\operatorname{rank}(T)+\operatorname{rank}(T)=\dim(V)$。

• $T$ 是 one-to-one（单射）当且仅当 $N(T)=\{0\}$；
• $\dim(V)=\dim(W)$ 时以下三项等价：$T$ 是 one-to-one，$T$ 是 onto（满射），$\operatorname{rank}(T)=\dim(V)$。

对于基底 $\beta$，$R(T)=\operatorname{span}(T(\beta))$。

$$\operatorname{rank}(A)+\operatorname{rank}(B)-n\leqslant \operatorname{rank}(AB)\leqslant\min(\operatorname{rank}(A),\operatorname{rank}(B))\\ \operatorname{rank}(A+B)\leqslant \operatorname{rank}(A)+\operatorname{rank}(B)$$

（证明：有心情就补）

坐标表示

向量 $x$ 以 $\beta$ 为基底的坐标表示记作 $[x]_\beta$，对于 $\beta=\{v_1,v_2,\cdots,v_n\}$ 我们将 $[T(v_1)]_\gamma,[T(v_2)]_\gamma,\cdots,[T(v_n)]_\gamma$ 的顺次拼接记作 $[T]_\beta^\gamma$，当 $V=W$ 时可省去上标。

对于 $\dim(V)=\dim(W)$ 以及两者有序基底 $\beta,\gamma$，存在唯一的线性变换 $T$ 将 $\beta$ 映射到 $\gamma$，构造为 $[T]_\beta^\gamma=I$。

$$[UT]_\alpha^\gamma=[U]_\beta^\gamma[T]_\alpha^\beta\\ [T]_{\beta'}^{\gamma'}=[I]_\gamma^{\gamma'}[T]_\beta^\gamma[I]^\beta_{\beta'}$$

有时我们也记 $\phi_\beta(x)=[x]_\beta,\Phi(T)=[T]_\beta^\gamma$，且 $\phi,\Phi$ 也是线性变换（固定 $\beta,\gamma$）。

可逆与同型

矩阵求逆都会吧？

若存在可逆矩阵 $Q$ 使得 $B=Q^{-1}AQ$，我们称 $A,B$ 相似。

$A,B$ 相似当且仅当 $\operatorname{tr}(A)=\operatorname{tr}(B)$（考虑 $\operatorname{tr}(AB)=\operatorname{tr}(BA)$）。

若存在可逆线性变换 $T:V\rightarrow W$，我们称 $V,W$ 同构，$T$ 是 $V$ 到 $W$ 的同型。容易发现同构当且仅当 $\dim(V)=\dim(W)$，因为我们能给出构造 $\Phi(T)=[T]_\beta^\gamma$。类似地，我们容易知道 $[x]_\beta$ 是 $V\rightarrow F$ 的同型。

对偶空间

定义 $V\rightarrow F$ 的线性泛函组成的向量空间为 $V$ 的对偶空间，记作 $V^*$。

对于某组有序基底，记 $\mathrm f_i(x)$ 代表 $x$ 第 $i$ 维下标对应的线性泛函，那么 $\{\mathrm f_1,\mathrm f_2,\cdots,\mathrm f_n\}$ 是 $V^*$ 的基底。

定义 $\hat x\in V^{**}$ 且对于 $f\in V^*$ 有 $\hat x(f)=f(x)$，那么 $\psi(x):V\rightarrow V^{**}$ 满足 $\psi(x)=\hat x$ 是同型.

第三章 基本行列变换与线性方程组

不会有人不会吧？

第四章 行列式

对于 $A\in M_{n\times n}(F)$，在固定所有 $i\ne j$ 的行后，$\det$ 是关于第 $j$ 行的线性变换（归纳）。

比内-柯西公式：对于 $m\times n$ 矩阵 $A$ 与 $n\times m$ 矩阵 $B$（$n\geqslant m$），有 $$\det(AB)=\sum_{|S|=m}\det(A_S)\det(B_S)$$ （$A_S,B_S$ 表示列/行下标在 $S$ 中的子矩阵）。方阵的版本是 $\det (AB)=\det(A)\det(B)$。

克莱姆法则：对于线性方程组 $Ax=b$，若 $\det A$ 非零，那么有唯一解 $x_i=\frac{\det(M_k)}{\det A}$，其中 $M_k$ 表示将 $A$ 的第 $k$ 列替换成 $b$ 形成的矩阵（将 $I$ 的第 $k$ 列替换为 $x$ 得到 $X_k$，注意到 $AX_k=M_k$）。

$\det\pmatrix{A&B\\O&C}=\det(A)\det(C)$。证明考虑先判掉 $C$ 不可逆，否则我们有 $\pmatrix{I&O\\O&C^{-1}}\pmatrix{A&B\\O&C}=\pmatrix{A&B\\O&I}$，后者归纳逐行消去右下。

范德蒙德矩阵行列式：$\det \pmatrix{1&c_0&c_0^2&\cdots&c_0^k\\1&c_1&c_1^2&\cdots&c_1^k\\\vdots&\vdots&\vdots&\ddots&\vdots\\1&c_k&c_k^2&\cdots&c_k^k}=\prod_{0\leqslant i<j\leqslant k}(c_j-c_i)$。证明考虑归纳，然后逐列作差分消去第一行。

第五章 对角化

特征值与特征向量

特征多项式最高项系数为 $(-1)^n$。

求特征值的方法：特征多项式求根。

求特征向量的方法：对于特征值 $\lambda$，其对应特征向量 $\in N(T-\lambda I)$ 且非零。

对于互不相同的 $k$ 个特征值 $\lambda_1,\lambda_2,\cdots,\lambda_k$，对于所有 $i$ 我们任取 $E_{\lambda_i}$ 的一个有限线性无关子集，那么这些子集的并同样线性无关。

特征值的几何重数不超过其代数重数。

可对角化当且仅当特征多项式可分解，且所有特征值的几何重数等于代数重数。另一个充要条件是 $V$ 是各个特征空间的直和。因此若 $T$ 可对角化，对于每个 $E_{\lambda_i}$ 任取一组有序基底，其并一定是 $V$ 的有序基底。

不变子空间与卡莱·哈密顿定理

对于 $V$ 的一个 $T-$不变子空间 $W$，$T_W$ 的特征多项式整除 $T$ 的特征多项式（取 $W$ 基底并扩展到 $V$ 基底 $\beta$，那么 $[T]_\beta=\pmatrix{A_1&A_2\\O&A_3}$，其中 $B_1$ 即 $[T_W]_\beta$）。

对于任意非零向量 $v\in V$ 生成的 $T-$循环子空间 $W$，令 $k=\dim(W)$，我们有：① $\{v,T(v),\cdots,T^{k-1}(v)\}$ 是 $W$ 的一组基底；②若 $a_0v+a_1T(v)+\cdots+a_{k-1}T^{k-1}(v)+T^k(v)=0$，那么 $T_W$ 的特征多项式为 $f(t)=(-1)^k(a_0+a_1t+\cdots a_{k-1}t^{k-1}+t^k)$（取 ① 中的基底，那么 $[T]_\beta=\pmatrix{0&0&\cdots&0&-a_0\\1&0&\cdots&0&-a_1\\\vdots&\vdots&\ddots&\vdots&\vdots\\0&0&\cdots&1&-a_{k-1}}$）。

卡莱·哈密顿定理：一个线性变换/矩阵的特征多项式是其零多项式。

将 $V$ 写作若干 $T-$不变子空间 $W_i$ 的直和，那么 $T$ 的特征多项式 $f(t)$ 是每个 $T_{W_i}$ 的特征多项式的乘积。

对于 $A\in M_{n\times n}(F)$，假设其特征多项式为 $f(t)=(-1)^nt^n+a_{n-1}t^{n-1}+\cdots+a_1t+a_0$，那么 $A$ 可逆当且仅当 $a_0\ne 0$，且若 $A$ 可逆那么 $A^{-1}=-\frac1{a_0}\sum_{i=1}^n a_iA^{i-1}$（前者考虑 $\det(A)=f(0)=a_0$，后者直接计算）。

$T$ 的特征多项式是 $T_W$ 与 $\overline T$ 的特征多项式乘积，其中 $\overline T:V/W\rightarrow V/W$ 满足 $\overline T(v+W)=T(v)+W$（将 $T_W$ 基底扩张成 $T$ 的基底，那么 $[T]_\beta=\pmatrix{B_1&B_2\\O&B_3}$，容易证明 $[\overline T]_\beta=B_3$）。

第六章 内积空间

内积空间

内积的判定：① $\langle x+z,y\rangle=\langle x,y\rangle+\langle z,y\rangle$；② $\langle cx,y\rangle=c\langle x,y\rangle$；③ $\overline{\langle x,y\rangle}=\langle y,x\rangle$；④ $\langle x,x\rangle>0$ 当且仅当 $x\ne0$。

柯西-施瓦茨不等式：$|\langle x,y\rangle|\leqslant ||x||\cdot||y||$，取等当且仅当 $x=ay$（考虑展开 $||x-\frac{\langle x,y\rangle}{||y||^2}y||^2$）。

三角形不等式：$||x+y||\leqslant ||x||+||y||$，取等当且仅当 $x=ay$ 且 $a\in\R^+\cup\{0\}$（考虑展开 $||x+y||^2=||x||^2+2\mathfrak R\langle x,y\rangle+||y||^2$，并将 $\mathfrak R\langle x,y\rangle$ 松成 $|\langle x,y\rangle|$ 再用柯西-施瓦茨不等式）。

对于任意正交子集 $S$，对任意 $y\in\operatorname{span}(S)$ 都有 $y=\sum_{i=1}^k\frac{\langle y,v_i\rangle}{||v_i||^2}v_i$。

葛兰·施密特过程：对于任意线性无关子集 $S=\{w_1,w_2,\cdots,w_n\}$，我们生成 $v_1=w_1,v_k=w_k-\sum_{i=1}^{k-1}\frac{\langle w_k,v_i\rangle}{||v_i||^2}v_i$，那么 $\{v_1,v_2,\cdots,v_k\}$ 是张成空间不变的正交集合。

对于 $W\subseteq V$，以及任意 $y\in W$，存在唯一的 $u\in W,z\in W^{\perp}$ 满足 $y=u+z$。更进一步地，对于 $W$ 的标准正交基底 $\{v_1,v_2,\cdots,v_k\}$，那么 $u=\sum_{i=1}^k\langle y,v_i\rangle v_i$。这样的 $u$ 是 $W$ 内“最接近” $y$ 的向量，即 $\forall x\in W,||y-x||\geqslant ||y-u||$。

子空间 $W$ 的标准正交基底扩张成 $V$ 的基底后，增加的元素是 $W^\perp$ 的标准正交基底。

伴随算子

对于线性变换 $g:V\rightarrow F$，存在唯一的 $y\in V$ 满足 $g(x)=\langle x,y\rangle$（取某一标准正交基底，构造 $y=\sum_{i=1}^n\overline{g(v_i)}v_i$）。

线性算子 $T$ 存在唯一的线性算子 $T^*:V\rightarrow V$ 满足 $\langle T(x),y\rangle=\langle x,T^*(y)\rangle$（定义函数 $g(x)=\langle T(x),y\rangle$，接下来根据 $y$ 找到 $y'$ 满足 $g(x)=\langle x,y'\rangle$，令 $T^*$ 对应 $y\rightarrow y'$ 的线性变换）。

但是上面提供的计算方法过于繁琐，事实上对于任意标准正交基底 $\beta$，$[T^*]_{\beta}=[T]_{\beta}^*$，于是我们只需求其矩阵形式的伴随。

若 $T$ 可逆，那么 $T^*$ 可逆且 $(T^*)^{-1}=(T^{-1})^*$。

最小解

我们想找到 $||Ax-y||$ 的最小解，相当于在 $W=\{Ax\}$ 找 $y$ 最接近的向量 $x_0$，而且根据上一节的分析，$x_0$ 事实上只需满足 $Ax_0-y\in W^\perp$，于是 $\langle Ax,Ax_0-y\rangle=0$，只需取 $x_0$ 为 $A^*(Ax_0-y)=0$ 的解即可，在 $A^*A$ 可逆时 $x_0=(A^*A)^{-1}A^*y$。

最小二乘法是 $x$ 只有两行时的特例，根据 $A^*Ax_0=A^*y$，我们事实上只需解方程：$\pmatrix{\sum_{i=1}^m t_i^2&\sum_{i=1}^m t_i\\\sum_{i=1}^m t_i&m}\pmatrix{c\\d}=\pmatrix{\sum_{i=1}^m t_iy_i\\\sum_{i=1}^m y_i}$。另一种方法是对 $E=\sum_{i=1}^n(y_i-ct_i-d)^2$ 求关于 $c,d$ 的偏导并限制其为零，能得到一致的等式。

类似地，我们也能求出 $Ax=b$ 方程组的最小解（假设一定有解），我们只需要求解 $s\in R(L_{A^*})$。由于任意 $x$ 都可以拆成 $s\in R(L_{A^*})$ 与 $u\in R(L_{A^*})^\perp=N(L_A)$ 之和，容易证明最小性与唯一性。

正规与自轭

正规算子：$TT^*=T^*T$，其有很多值得讨论的特殊情况，

• 自轭算子：$T=T^*$（在实数情况被称作对称）。
• 酉算子：$TT^*=T^*T=I$（在实数情况被称作正交）。
• 正交投影：自轭且 $T=T^2$。

舒尔定理：对于有限维内积空间 $V$ 上的线性算子 $T$，若 $T$ 的特征多项式可分解，那么存在标准正交基底 $\beta$ 使得 $[V]_{\beta}$ 是上三角矩阵。

对于内积空间 $V$ 上的正规算子 $T$，我们有：① $||T(x)||=||T^*(x)||$；②对于任意 $c$，$T-cI$ 是正规的；③ 对于特征向量 $x$，我们有 $T^*(x)=\overline\lambda x$；④ 对于不同的特征值 $\lambda_1,\lambda_2$ 对应的特征向量 $x_1,x_2$，$x_1,x_2$ 正交。

$T$ 正规当且仅当存在仅包含 $T$ 的特征向量的的标准正交基底；实内积空间上 $T$ 自轭当且仅当存在仅包含 $T$ 的特征向量的标准正交基底。

若 $T$ 正规，那么 $N(T)=N(T^*),R(T)=N(T^*)^\perp=N(T)^\perp=R(T^*)$。

若自轭矩阵 $T,U$ 可交换，那么存在标准正交基底仅包含 $T,U$ 同时的特征向量（对于 $T$ 的任意特征空间 $W=E_\lambda$，证明 $U_W$ $W-$不变，于是 $U_W$ 自轭，取 $W$ 内将其对角化的标准正交基底拼接即可）。

$\C$ 上的卡莱·哈密顿定理证明：根据舒尔定理将 $A$ 相似变换成上三角矩阵 $B$，先证明 $f(B)=0$。这个考虑归纳，$(B_{1,1}I-B)e_1=0$，接下来 $(B_{i,i}I-B)e_i$ 只有前 $i-1$ 行有值，是 $e_1,e_2,\cdots,e_{i-1}$ 的线性组合，这个在乘上 $\prod_{j=1}^{i-1}(B_{j,j}I-B)$ 后消去，最后有 $f(P^{-1}BP)=P^{-1}f(B)P=O$。

酉与正交

判断酉等价的一些检查：向量模长之和相同，特征值相同，行列式相同。

$A\in M_{n\times n}(\C)$ 正规当且仅当 $A$ 酉等价于某个对角矩阵，$A\in M_{n\times n}(\R)$ 对称当且仅当 $A$ 正交等价于某个实对角矩阵（对角化考虑选取每个特征空间的标准正交基底）。

于是根据舒尔定理，对于 $A\in M_{n\times n}(F)$，若 $A$ 的特征多项式在 $F$ 上可分解：①若 $F=\C$，那么 $A$ 酉等价于某个复上三角矩阵；②若 $F=\R$，那么 $A$ 正交等价于某个实上三角矩阵。

另外地，我么能知道对于正规算子，$\operatorname{tr}(A)=\sum_{i=1}^n\lambda_i$，以及 $\operatorname{tr}(A^*A)=\sum_{i=1}^n|\lambda_i|^2$（考虑 $\operatorname{tr}(AB)=\operatorname{tr}(BA)$），还有一个结论是 $\det(A)=\prod_{i=1}^n\lambda_i$。

酉算子

酉算子的不变子空间的正交空间仍然是不变子空间（无限维时的 hack：构造一条首尾均无限的链并考察其前一半）。

$T$ 是酉算子等价于：①对任意 $x$ 有 $||T(x)||=||x||$；②对任意 $x,y$ 有 $\langle T(x),T(y)\rangle=\langle x,y\rangle$；③将任意标准正交基底映射到标准正交基底；④将某组标准正交基底映射到标准正交基底；

• 推论 1：$V$ 存在仅包含 $T$ 特征向量的标准正交基底，且对应的特征值的绝对值为 $1$，当且仅当 $T$ 自轭且是正交算子。
• 推论 2：$V$ 存在仅包含 $T$ 特征向量的标准正交基底，且对应的特征值的绝对值为 $1$，当且仅当 $T$ 是酉算子。

刚体运动

称 $f$ 是刚体运动当且仅当任意 $x,y$ 都有 $||x-y||=||f(x)-f(y)||$。

对于实内积空间 $V$ 上的刚体运动 $f:V\rightarrow V$，$V$ 上存在唯一的正交算子 $T$ 以及唯一的平移 $g$ 满足 $f=g\circ T$。

在 $\R^2$ 上，正交算子要么是 $\det=1$ 的旋转，要么是 $\det=-1$ 的反射（反射轴过原点），因此刚体运动要么是旋转后平移，要么是反射后平移。

$\R^2$ 上旋转 $\phi$ 度：$\pmatrix{\cos\phi&-\sin\phi\\\sin \phi&\cos \phi}$，$\R^2$ 上沿倾斜角为 $\psi$ 的直线反射：$\pmatrix{\cos2\psi&\sin2\psi\\\sin2\psi&-\cos2\psi}$。

正交投影与谱定理

定义投影 $T$ 是正交投影当且仅当 $R(T)^\perp=N(T)$ 且 $N(T)^\perp=R(T)$（若是有限维空间只需满足某一者），容易发现正交投影关于 $W_1$ 是唯一的。$T$ 是正交投影当且仅当 $T^*$ 存在且 $T^2=T=T^*$。

谱定理

谱定理（正规算子的正交对角化）：定义互不相同的特征值 $\lambda_1,\lambda_2,\cdots,\lambda_k$ 对应的特征空间为 $W_1,W_2,\cdots,W_k$，以及 $V$ 到 $W_i$ 的投影为 $T_i$，假设 $T$ 是正规的（$F=\C$）或是自轭的（$F=\R$），那么以下命题成立：① $V=W_1\oplus W_2\oplus\cdots \oplus W_k$；②定义 $W_i'$ 为所有 $j\ne i$ 的 $W_j$ 直和，那么 $W_i^\perp=W_i'$；③ $T_iT_j=\delta_{i,j}T_i$；④ $I=T_1+T_2+\cdots+T_k$；⑤ $T=\lambda T_1+\lambda_2 T_2+\cdots+\lambda_k T_k$。

• 推论 1：若 $F=\C$，那么 $T$ 正规当且仅当存在多项式 $g$ 使得 $T^*=g(T)$（构造只需插值 $g(\lambda_i)=\overline{\lambda_i}$）。
• 推论 2：若 $F=\C$，那么 $T$ 是酉算子当且仅当 $T$ 正规且 $|\lambda|=1$。
• 推论 3：若 $F=\C$ 且 $T$ 正规，那么 $T$ 自轭当且仅当 $T$ 的每个特征值都是实的。
• 推论 4：若 $T$ 是谱定理中所描述的线性算子，那么每个 $T_i$ 都是 $T$ 的一个多项式（构造只需插值 $g_j(\lambda_i)=\delta_{i,j}$）。

容易发现 $T^k=\sum \lambda^k_i T_i$，在 $k$ 是有理数时，右式也是满足条件的一种构造。

一些估计

利用谱定理，我们能对 $x^*Ax$ 的值做估计（令 $T=L_A$）：$x^*Ax=(\sum a_i T_i(x))^*(\sum a_i T(T_i(x)))=\sum||a_i||^2\lambda_i$，而 $\sum||a_i||^2=||x||^2$，因此 $\lambda_1||x||^2\leqslant x^*Ax\leqslant \lambda_k||x||^2$（假设 $\lambda_1\leqslant\lambda_2\leqslant\cdots\leqslant\lambda_k$）。

• 推论 1：若 $A,B$ 自轭，且 $A$ 的特征值在 $[L_1,R_1]$ 内 $B$ 的特征值在 $[L_2,R_2]$ 内，那么 $A+B$ 的特征值在 $[L_1+L_2,R_1+R_2]$ 内（对于 $(A+B)v=\lambda v$，$\lambda||v||^2=v^*(A+B)v=v^*Av+v^*Bv\in[L_1+L_2,R_1+R_2]||v||^2$）。
• 推论 2：$A^*A$ 的特征值在 $[L,R]$ 内，那么 $A$ 的特征值的绝对值在 $[\sqrt L,\sqrt R]$ 内（考虑 $x^*A^*Ax=(Ax)^*(Ax)=||\lambda x||^2$）。

奇异值分解

奇异值分解是非方阵的对角化，$A=U\Sigma V^*$，$U,V$ 是酉矩阵，$\Sigma$ 只有对角线上有值且大小与 $A$ 一致。

流程：用标准正交基底将 $A^*A$ 对角化，令 $V$ 为标准正交基底拼接的矩阵，$\Sigma$ 对角线上是特征值开根后从大到小的排列（由于 $A^*A$ 半正定，特征值一定非负），$U$ 为 $Av_1,Av_2,\cdots,Av_r$ 的拼接（$r=\operatorname{rank}A$），最后将各个矩阵补零/扩张成更大的基底得到最终结果。

正定与半正定

正定的前提是自轭。

若 $T$ 正定/半正定，那么 $T^{-1}$ 正定/半正定。

$T$ 正定/半正定当且仅当其特征值为正/非负（正交对角化 $T$，接下来在对应基底下直接计算 $\langle T(x),x\rangle$）。

$T$ 半正定当且仅当存在方阵 $B$ 使得 $[T]_\beta=B^*B$（正交对交化 $T$，给对角矩阵开根并分配至两侧）。

若半正定算子 $T,U$ 满足 $T^2=U^2$ 那么 $T=U$。

若半正定算子 $T,U$ $T,U$ 可交换，那么 $TU=UT$ 半正定。

酉等价的矩阵正定性/半正定性相同。

半正定方阵的奇异值与特征值相同（$A^*A(x)=A^2(x)=\lambda^2 x$）。

正定方阵的奇异值分解 $A=U\Sigma V^*$ 满足 $U=V$（$A^2=A^*A=V\Sigma^2 V^*=(V\Sigma V^*)^2$ 于是 $A=V\Sigma V^*$，再根据 $A$ 半正定推出 $\Sigma$ 可逆）。

对于任意方阵 $A$，我们能找到酉矩阵与正半定矩阵乘积为 $A$，若 $A$ 可逆那么这样的分解是唯一的（$A=WP=ZQ\Rightarrow Z^*W=QP^{-1}$ 于是 $QP^{-1}$ 是酉矩阵，这会推出 $P=Q$），这种分解被称作极分解，我们可以利用 $A=(UV^*)(V\Sigma V^*)$ 来构造（右边酉等价于正半定矩阵 $\Sigma$ 因此正半定）。

双线性型与二次型

双线性型

从双线性型到两维各自代入基底 $\beta$ 内向量形成的矩阵 $\psi_\beta:\mathcal B(v)\rightarrow M_{n\times n}(F)$ 是同型，于是我们立即得到 $H(x,y)=[\phi_\beta(x)]^t\psi_\beta(H)[\phi_\beta(y)]$。

在有限维实内积空间上，$H(x,y)=\langle x,T(y)\rangle$ 是 $H\in \mathcal B(V),T\in\mathcal L(V,V)$ 的一一对应（考虑取标准正交基底 $v_1,v_2,\cdots,v_n$ 于是有 $\langle x,T(y)\rangle=\sum_{i=1}^n\langle x,v_i\rangle\langle T(y),v_i\rangle=[\phi_\beta(x)]^t[\phi_\beta(T(y))]=[\phi_\beta(x)]^t[T]_\beta[\phi_\beta(y)]$）。

合同变换

$\psi_\gamma(H)=Q^t\psi_\beta(H)Q$，当且仅当 $Q$ 是 $\gamma\rightarrow\beta$ 的坐标变换矩阵，这里要和正常的坐标变换 $Q^{-1}[T]_\beta Q$ 作区分。

在非特征为二的域上，双线性型可合同对角化当且仅当对称。

对称矩阵的合同对角化：重复高斯消元的过程足够了，为方便可以在消元过程中顺便记录行变换得到的 $Q^t$。在内积空间上我们也可以选择一组标准正交基底对矩阵进行对角化，并有 $Q^tHQ=Q^{-1}HQ$。

二次型

对于二次型 $K$，我们取使其对应双线性型 $H$ 对角化的某一标准正交基底 $\beta=\{v_1,v_2,\cdots,v_n\}$，令 $\psi_\beta(H)$ 对角线元素为 $\lambda_1,\lambda_2\,\cdots,\lambda_n$，对于 $x=\sum s_iv_i$ 有 $K(x)=\sum \lambda_i s^2_i$，这提供了将二次型换元成平方和的方法（可用来证明解集为 ellipsoid）。

第七章 约旦标准型

求 jordan 标准型的方法：先求出特征值，对于每一特征值 $\lambda$，取 $E_{\lambda}$ 的一组基底。对于每一基底内元素 $v$，重复执行令 $w$ 为 $(T-\lambda I)x=v$ 的特解，并令 $v\leftarrow w$，重复执行直到无解，将所有得到的向量求并即为最终基底。

一些其他知识鸽了。

最小多项式：特征多项式，接着对因子试除法 / 求出 Jordan 标准型后，对于每个特征值 $\lambda_i$，取最大的 jordan 块大小 $l_i$，$\prod(x-\lambda_i)^{l_i}$ 即为最小多项式。

---

bilinear form：双线性型

cofactor：余子式

conjugate：共轭

coset：陪集

ellipsoid：椭球

gaussian elimination：高斯消元

gram-schmidt：葛兰·施密特

isomorphism：同型

jordan canonical form：约旦标准型

language interpolation formula：拉格朗日插值

least square approximation：最小二乘法

multiplicity：重数

norm：模长

orthogonal：正交

orthonormal：标准正交

one-to-one：单射

polar decomposition：极分解

positive definite：正定

positive semidefinite：半正定

quadratic form：二次型

rigid motion：刚体运动

singular value：奇异值

spectral decomposition：谱分解

translation：平移