线性代数预习笔记
线性方程组解的结构
设 \(A\) 为 \(m\times n\) 型实矩阵,则 \(r(A)=r(A^TA)=r(AA^T),N(A)=N(A^TA),C(A)=C(AA^T)\)。
证明 \(C(A)=C(AA^T)\):只需证明若 \(\vec b\in C(A)\),则 \(AA^T\vec y=\vec b\) 有解。
\(r(AA^T,\vec b)\ge r(AA^T),\vec b=A\vec x\Rightarrow r(AA^T,\vec b)=r(AA^T,A\vec x)\le r(A),r(AA^T)=r(A)\)。
所以 \(r(AA^T,\vec b)=r(AA^T)\)。
设 \(A\) 为 \(m\times n\) 型任意矩阵,则 \(N(A)\subseteq N(BA)\), 当 \(B\) 列满秩等号成立,\(C(AB)\subseteq C(A)\),\(B\) 行满秩等号成立。
左乘列满秩不改变矩阵的秩,右乘行满秩不改变矩阵的秩。
向量的内积与度量
\((\vec \alpha,\vec \beta)^2\le(\vec \alpha,\vec \alpha)\cdot(\vec \beta,\vec \beta)\)。
正交基与正交矩阵
任意正交向量组线性无关。
\(\vec\alpha\) 在标准正交基 \(\vec\varepsilon_1,\vec\varepsilon_2,\cdots,\vec\varepsilon_n\) 下的坐标为:\(\forall j,x_j=(\alpha,\vec\varepsilon_j)\)。
还是 标准正交基,设 \(\vec\alpha=(\vec\varepsilon_1,\vec\varepsilon_2,\cdots,\vec\varepsilon_n)\vec X,\vec\beta=(\vec\varepsilon_1,\vec\varepsilon_2,\cdots,\vec\varepsilon_n)\vec Y\),则 \((\vec\alpha,\vec\beta)=\vec X^T\vec Y\)。
正交矩阵的乘积还是正交矩阵。
施密特正交化要求输入的 \(s\) 个向量:\(s\le n\),所有向量非零,且线性无关。
QR 分解:\(Q=(\vec\gamma_1,\vec\gamma_2,\cdots,\vec\gamma_n),R\) 是上三角:\(R_{i,i}=|\vec\beta_i|,R_{j,i}=\frac{(\vec\alpha_i,\vec\beta_j)}{|\vec\beta_j|}(j<i)\)。
列满秩都可以做 QR 分解,不一定要是正交矩阵。因为只要输入的 \(s\) 个向量线性无关即可。
欧式空间中的正交性
若 \(\vec\eta_1,\vec\eta_2,\cdots,\vec\eta_n\) 是子空间 \(W\) 的一组正交基,则计算 \(\vec\alpha\) 在 \(W\) 的投影,可以用 \(\sum_{i=1}^n\frac{(\vec\alpha,\vec\eta_i)}{(\vec\eta_i,\vec\eta_i)}\vec\eta_i\)。
若向量都是 \(n\) 维的,则 \(\dim W+\dim W^⊥=n\)。
求 \(\vec v\) 在 \(C(A^T),N(A)\) 中的正交分解,其中 \(A\) 是任意实矩阵。
解:\(A\vec v=A\vec v_r+A\vec v_n=A\vec v_r\)。所以令 \(A\vec v=\vec b,\vec x=\vec v_r\),问题转化为求 \(A\vec x=\vec b,\vec x\in C(A^T)\) 的解。
因为 \(C(A)=C(AA^T)\),所以 \(\vec b\in C(A)\Rightarrow\vec b\in C(AA^T)\),那么 \(AA^T\vec y=\vec b\) 有解,把它解出来,再令 \(\vec x=A\vec y\) 即可。
证明 \(\vec x\) 的唯一性:设 \(A\vec \alpha=A\vec \beta=\vec b\),且两个都在 \(C(A^T)\) 里面,那么 \(\vec\alpha-\vec\beta\) 是 \(N(A),C(A^T)\) 的相交部分,也就是 \(\vec 0\)。
最小二乘问题
也就是求 \(\vec b\) 在 \(C(A)\) 里的投影 \(\vec\beta\)。因为要求 \(\vec\beta\in C(A)\),所以设 \(\vec\beta=A\vec x_0\),由 \(\vec b-\vec \beta\) 和 \(C(A)\) 正交,可得 \(A^T(\vec b-\vec \beta)=\vec 0\),所以 \(A^TA\vec x_0=A^T\vec b\)。
你说它为什么一定有解?\(r(A^TA,A^Tb)\le r(A^T)=r(A),r(A^TA,A^Tb)\ge r(A^TA)=r(A)\)。
复习一下 \(r(A^TA)=r(AA^T)=r(A)\),就知道 \(r(A^TA,A^Tb)=r(A^TA)\) 了。
令 \(P=A(A^TA)^{-1}A^T\) 即正交投影矩阵,前提是 \(A^TA\) 可逆,也就是 \(A\) 得列满秩。
\(P^2=P,P^T=P\),因为投影两次不变,以及 \(A^TA\) 是对称阵。
\(I=P+P_{W^\bot}\)。
若令 \(A=QR\),则 \(P_{C(A)}=QQ^T\)。(注意 \(Q,R\) 都是可逆的。)
注意这里 \(QQ^T\) 不一定是 \(I\) !!
投影阵的定义:方阵 \(P\) 满足 \(P^2=P^T=P\)。若满足这个定义,则 \(N(P)=C(I-P),N(I-P)=C(P)\)。
特征值与特征向量
设 \(f_A(\lambda)=|\lambda I_n-A|\),则 \(\sum_{i=1}^n\lambda_i=\text{tr}A,\prod_{i=1}^n\lambda_i=|A|\)。
证明:由行列式的 \(2^n\) 加和形式,\([\lambda^0]=(-1)^n|A|,[\lambda^{n-1}]=-\text{tr}(A)\)。
同时根据韦达定理,\([\lambda^0]=(-1)^n\prod_{i=1}^n\lambda_i,[\lambda^{n-1}]=-\sum_{i=1}^n\lambda_i\)。
设 \(\lambda_0\) 是 \(A\) 的特征值,且 \(\vec x_0\) 为对应的特征向量,则:
- \(g(\lambda_0)\) 是 \(g(A)\) 的特征值,\(\vec x_0\) 为对应的特征向量,其中 \(g\) 是任意多项式。
- 若 \(g(A)=0\),则 \(g(\lambda_0)=0\)。
- \(f_A(A)=0\)。
- 若 \(A\) 可逆,则 \(\lambda_0^{-1}\) 是 \(A^{-1}\) 的特征值,\(\lambda_0^{-1}|A|\) 是 \(A^*\) 特征值,对应特征向量是 \(\vec x_0\)。
在 \(A\) 的每个特征值下随便抓一些特征向量,再全部混合起来,还是线性无关。前提是特征值要两种以上。
相似矩阵与对角化
设 \(A,B\) 是同阶方阵,\(P^{-1}AP=B\Rightarrow A\sim B\)。
若 \(A\sim B\) 则:
- \(g(A)\sim g(B),A^{-1}\sim B^{-1}\)。
- \(r(A)=r(B)\)。
- \(A,B\) 的特征多项式,特征值,\(\text{tr},\det\) 都相同。
- 但是有相同特征值的矩阵不一定相似,有相同特征多项式的矩阵也不一定相似。
- 设 \(A:\lambda_0,\vec x_0\),则 \(B:\lambda_0,P^{-1}\vec x_0\)。
若 \(P^{-1}AP=\Lambda\),则 \(A^k=P\Lambda^kP^{-1}\),其中 \(\Lambda\) 是对角阵。
\(A\) 可对角化的充要条件:有 \(n\) 个线性无关的特征向量。
注意使用 \(\text{tr},\det\) 来判断特征向量的性质。
\(\forall m_i\le n_i\)。
任意矩阵 \(A\) 都可以:\(P^{-1}AP=T\),其中 \(T\) 是上三角阵。
实对称阵的正交对角化
若 \(A\) 为实对称阵,则:
- \(A\) 的特征值都是实数。
- \(A:\lambda_1,\vec x_1\),\(A:\lambda_2,\vec x_2(\lambda_1\ne \lambda_2)\) 则 \(\vec x_1\bot \vec x_2\)。
- 存在正交阵 \(Q\) 使得 \(Q^{-1}AQ=Q^TAQ\) 为对角阵。
求 \(Q\):把每个特征值下的一组基分别标准正交化。
实对称阵的正定性
设 \(\vec\alpha_1,\vec\alpha_2,\cdots,\vec\alpha_n\) 为一组基,则 \(A_{i,j}=(\vec\alpha_i,\vec\alpha_j)\) 称作度量矩阵。
设 \(A\) 为实对称矩阵,若 \(\forall \vec x\ne \vec 0\),有 \(\vec x^TA\vec x>0\),则 \(A\) 为正定矩阵。
设 \(\vec\alpha_i,\vec\beta_i\) 为两组基,且 \((\vec\beta_1,\vec\beta_2,\cdots,\vec\beta_n)=(\vec\alpha_1,\vec\alpha_2,\cdots,\vec\alpha_n)P\),则 \(B=P^TAP\)。
合同的定义:给定两个对称阵 \(A,B\),如果存在可逆方阵 \(P\) 使得 \(B=P^TAP\),则 \(B\) 与 \(A\) 合同。
给定实对称阵 \(A\),令 \(\vec x=Q\vec y\),其中 \(Q\) 是正交阵(在这里算一个可逆线性替换),且 \(Q^TAQ=\Lambda\) 是对角矩阵,则 \(\vec x^TA\vec x=\vec y^T\Lambda\vec y\),那么这个二次型就可以写成 \(\sum \lambda_iy_i^2\) 的形式。
该对角阵 \(\Lambda\) 也称为 \(A\) 的相合标准形,下面给出两个求 \(\Lambda\) 的做法:
- 直接求特征值 \(\Lambda\),直接求特征向量排成 \(Q\)。
- \(\begin{bmatrix} A \\ I \end{bmatrix}\rightarrow\begin{bmatrix} P^TAP\\ P\end{bmatrix}\),每次对上面那块做一个初等列变换,下面跟着上面做一样的列变换,然后上面做一次一样的初等行变换。
标准形不唯一,规范形:\(\forall y_i^2\) 的系数在 \(-1,0,1\) 三个数当中取值,再 sort 一下变成 \(1,-1,0\) 的顺序。证明规范形唯一,只需要证明系数为正,为负,为 \(0\) 的个数都一样就行了。
任意实对称矩阵相合于 \(\text{diag}(I_p,I_{r-p},O)\)。\(A,B\) 相合即 \(p,r\) 都相同,秩与特征值的符号是相合的不变量。
相合变换不改变正定性(五种之一那个)。
特征值全正就是正定,全非负就是半正定,有正有负就是不定。
正定矩阵的性质:
- 特征值全正。
- 存在可逆矩阵 \(P\) 使得 \(A=P^TP\)。
- \(A\) 相合于 \(I\)。
- 一定可逆。
以下三条等价(主子式:选择一些行,再选择一些相同的列,顺序主子式 \([1,i]\times [1,i]\)):
- 实二次型 \(\vec x^TA\vec x\) 正定
- \(A\) 的顺序主子式全正
- \(A\) 的主子式全正
半正定只能用主子式全正来判断,不能用顺序主子式全正。
设 \(A\) 为 \(m\times n\) 实矩阵:若 \(r(A)=n\),则 \(A^TA\) 是正定矩阵,否则 \(A^TA\) 是半正定矩阵。
奇异值分解
设 \(A,B\) 分别为 \(m\times n,n\times m\) 的实矩阵,且 \(n>m\),则 \(\lambda^{n-m}|\lambda I_m-AB|=|\lambda I_n-BA|\)。
若 \(A\) 可对角化,则非零特征值个数等于 \(r(A)\)。
\(A^TA\vec v=\sigma^2\vec v\),则 \(\vec v\) 是 \(A\) 在奇异值 \(\sigma\) 下的右奇异向量,\(A\) 在左边是左奇异向量。
不计次序下 \(A\) 的 SV 唯一,但 SVD 不唯一。
求 SVD 分解的步骤:
- 把 \(A^TA\) 算出来。
- 求出 \(V^T\) 和 \(\Sigma_1^2\),使得 \(V^T(A^TA)V=\begin{bmatrix}\Sigma_1^2 &0\\0&0\end{bmatrix}\),注意 \(\Sigma_1\) 是特征值的根号,\(V\) 要变成正交矩阵。
- 令 \(V_1\) 为 \(V\) 的前 \(r(A)\) 列,\(U_1=AV_1\Sigma_1^{-1}\)。
- 把 \(U_1\) 扩充为 \(m\) 列的 SOB,最后 \(A=U\Sigma V^T\),其中 \(\Sigma=\begin{bmatrix}\Sigma_1 &0\\0&0\end{bmatrix}\)。
由 \(U_1=AV_1\Sigma_1^{-1}\) 可得 \((\vec u_1,\cdots,\vec u_r)=A(\vec v_1,\cdots,\vec v_r)\Sigma_1^{-1}=(A\vec v_1,\cdots,A\vec v_r)\Sigma_1^{-1}=(\frac{1}{\sigma_1}A\vec v_1,\cdots,\frac{1}{\sigma_r}A\vec v_r)\)。也就是 \(\forall 1\le i\le r:\vec u_i=\frac{1}{\sigma_i}A\vec v_i,\vec v_i=\frac{1}{\sigma_i}A^T\vec u_i\)。
\(U\) 的前 \(r\) 列是 \(C(A)\) 的一组 SOB,后 \(m-r\) 列是 \(N(A^T)\) 的 SOB。
\(V\) 的前 \(r\) 列是 \(C(A^T)\) 的 SOB,后 \(n-r\) 列是 \(N(A)\) 的 SOB。
注意:如果 \(A\) 是扁的,先算 \(A^T\) 的 SVD 分解然后转置一下。
奇异值的不变性:
- \(kA\) 的奇异值是 \(A\) 的 \(|k|\) 倍。
- 左乘或右乘正交矩阵,奇异值不变。
\(A\) 的谱范数:\(||A||=\max\limits_{\vec x\ne 0}\frac{|A\vec x|}{|\vec x|}\)。
谱范数的性质:
- 左乘或右乘正交矩阵,谱范数不变。
- \(||kA||=|k|||A||\)。
- \(||AB||\le||A||\times||B||\)。
- \(||A+B||\le||A||+||B||\)。
- \(||A||\ge 0\),\(||A||=0\) 当且仅当 \(A=O\)。
- \(||A||\) 为 \(A\) 最大的奇异值。
矩阵的广义逆
若 \(AGA=A,GAG=G,(AG)^T=AG,(GA)^T=GA\) 则 \(G=A^+\)。
广义逆具有以下性质:
- \(A\) 列满秩时,\(A^+=(A^TA)^{-1}A^T\)。
- \(A\) 行满秩时,\(A^+=(AA^T)^{-1}A\)。
- \(A=U\Sigma V^T,A^+=V\Sigma^+U^T\),其中 \(\Sigma^+\) 是 \(\Sigma\) 在所有非 \(0\) 的位置取倒数。
投影矩阵的扩展:\(P_{C(A^T)}=A^+A,P_{C(A)}=AA^+,P_{N(A)}=I_n-A^+A,P_{N(A^T)}=I_m-AA^+\)。
设 \(m\) 个 \(n\) 维向量线性无关,令 \(A=(\vec\alpha_1,\vec\alpha_2,\cdots,\vec\alpha_m)\),则这些向量的体积为 \(\sqrt{|A^TA|}\)。
线性空间
线性空间的 \(11\) 条定义:
- 非空
- 对加法封闭
- 对数乘封闭
- 加法交换律
- 加法结合律
- 乘法分配律 1
- 乘法分配律 2
- 数乘结合律
- 有负元素
- 有单位元
- 有零元
加法和数乘是可以随意定义的两种运算。
设 \(\vec\alpha_1,\vec\alpha_2,\cdots,\vec\alpha_n\) 和 \(\vec\beta_1,\vec\beta_2,\cdots,\vec\beta_n\) 是 \(n\) 维线性空间下的两组基,若 \((\vec\beta_1,\vec\beta_2,\cdots,\vec\beta_n)=(\vec\alpha_1,\vec\alpha_2,\cdots,\vec\alpha_n)C\),则称 \(C\) 是 \(\vec\alpha_1,\vec\alpha_2,\cdots,\vec\alpha_n\) 到 \(\vec\beta_1,\vec\beta_2,\cdots,\vec\beta_n\) 的过渡矩阵。
设 \(\vec\gamma\) 在这两组基下的坐标分别为 \(\vec X,\vec Y\),则 \(\vec\gamma=(\vec\beta_1,\vec\beta_2,\cdots,\vec\beta_n)\vec Y=(\vec\alpha_1,\vec\alpha_2,\cdots,\vec\alpha_n)C\vec Y\)。所以 \(\vec X=C\vec Y,\vec Y=C^{-1}\vec X\)。
若 \(V_1\rightarrow V_2\) 存在一个双射 \(\varphi\) 满足(\(V_1,V_2\) 是数域 \(F\) 上的两个线性空间):
- \(\forall \vec a,\vec b\in V_1,\varphi(\vec a+\vec b)=\varphi(\vec a)+\varphi(\vec b)\)。
- \(\forall \vec a\in V_1,k\in F,\varphi(k\vec a)=k\varphi(\vec a)\)。
则称 \(\varphi\) 是线性空间的同构,\(V_1≌V_2\)。
同构运算保零元,保负元,保线性相关性,保线性组合,保维数。
同构映射的逆映射,复合映射都是同构映射。
\(V_1≌V_2\) 当且仅当 \(\dim V_1=\dim V_2\)。
设 \(\forall \vec a\in V_1,\varphi(\vec a)\) 为 \(\vec a\) 在 \(V_1\) 的一组基下的坐标,则 \(V_1≌F^n\)。
线性子空间
设 \(W\) 是线性空间 \(V\) 的非空子集,那么 \(W\) 是 \(V\) 的子空间的充要条件是 \(W\) 对 \(V\) 中定义的加法和数乘封闭。
注意子空间必须包含 \(\vec 0\),但是它的基是空集。
设 \(\vec a_1,\cdots,\vec a_m\in V_1(F)\),则 \(L=\sum_{i=1}^mk_i\vec a_i\) 为它们的生成子空间,注意 \(k_i\in F\)。
由 \(W\) 的任意一组基,可以扩充为 \(V\) 的一组基。
\(W_1\bigcap W_2=\{\vec a|\vec a\in W_1,\vec a\in W_2\}\)。
\(W_1+W_2=\{\vec a+\vec b|\vec a\in W_1,\vec b\in W_2\}\)。
\(\dim W_1+\dim W_2=\dim (W_1+W_2)+\dim(W_1\bigcap W_2)\)。
求 \(W_1+W_2\) 的一组基,只要合并 \(W_1,W_2\) 的基即可。
求 \(W_1\bigcap W_2\) 的一组基:设 \(\vec a_1,\cdots \vec a_s,\vec b_1,\cdots \vec b_t\) 分别为 \(W_1,W_2\) 的一组基,解方程:
因为 \(\vec c\in W_1\bigcap W_2\) 就是 \(\vec c=\sum k_i\vec a_i=\sum l_i\vec b_i\)。并且 \(k,l\) 要么两个一起全 \(0\),要么两个都不能全 \(0\)。
设这东西解空间的基分别为 \(\vec c_1,\cdots,\vec c_p\),则 \(W_1\bigcap W_2\) 的一组基 \(\vec d_1,\cdots,\vec d_p\) 满足:\(\vec d_i=\sum_{j=1}^kc_{i,j}\)。
设 \(W_1,W_2\) 都是 \(V\) 的子空间,如果 \(W_1\bigcap W_2=\{\vec 0\}\),则称 \(W_1+W_2=W_1\oplus W_2\) 为 \(W_1\) 与 \(W_2\) 的直和。
若 \(V=W_1+W_2\),则下面四条等价:
- \(W_1\bigcap W_2=\{\vec 0\}\)。
- \(\vec 0\) 表示成 \(W_1,W_2\) 元素和的方案唯一。
- \(V\) 中任意元素表示成 \(W_1,W_2\) 元素和的方案唯一。
- \(\dim V=\dim W_1+\dim W_2\)。
设 \(\vec \alpha_1,\cdots,\vec \alpha_s\) 和 \(\vec \beta_1,\cdots,\vec\beta_t\) 分别为 \(W_1,W_2\) 的一组基,则 \(V=W_1\oplus W_2\Leftrightarrow\) \(\vec \alpha_1,\cdots,\vec \alpha_s,\vec \beta_1,\cdots,\vec\beta_t\) 为 \(V\) 的一组基。
若 \(W_1+W_2=V,W_1\bigcap W_2=\{\vec 0\}\) 则称 \(W_2\) 是 \(W_1\) 的补空间,补空间一般不唯一,但是正交补是唯一的。
线性映射及其对应矩阵
对于映射 \(\sigma:V_1\rightarrow V_2\),若满足:
- \(\forall \vec a,\vec b\in V_1:\sigma(\vec a+\vec b)=\sigma(\vec a)+\sigma(\vec b)\)。
- \(\forall \vec a\in V_1,k\in F,\sigma(k\vec a)=k\sigma(\vec a)\)。
则称 \(\sigma\) 为线性映射,当 \(V_1=V_2\) 时为线性变换。
旋转变换:\((x,y)\) 逆时针转 \(\theta\) 弧度:\((x\cos\theta-y\sin\theta,x\sin\theta+y\cos\theta)\)。
若 \((\sigma(\vec a_1),\cdots,\sigma(\vec a_n))=(\vec b_1,\cdots,\vec b_m)A\),则称 \(A\) 为 \(\sigma\) 在基 \(\vec a_1,\cdots,\vec a_n\) 和 \(\vec b_1,\cdots,\vec b_m\) 下的矩阵。
此时,设 \(\vec a,\sigma(\vec a)\) 在两组基下的坐标分别为 \(\vec x=(x_1,\cdots,x_n)^T,\vec y=(y_1,\cdots,y_m)^T\),则 \(\vec y=A\vec x\)。
若 \((\sigma(\vec a_1),\cdots,\sigma(\vec a_n))=(\vec a_1,\cdots,\vec a_n)A\),则称 \(A\) 为 \(\sigma\) 在基 \(\vec a_1,\cdots,\vec a_n\) 下的矩阵。
设 \(\vec a_i\) 和 \(\vec b_i\) 是 \(V_1,V_2\) 下两组大小均为 \(n\) 的基,可以定义 \(\sigma\) 使得 \(\forall i:\sigma(a_i)=b_i\)。对于任意 \(\vec\gamma\in V_1\),求出 \(\vec\gamma\) 在旧基下的坐标,再把这个坐标在新基下求出一个 \(\vec c,\sigma(\vec \gamma)=\vec c\)。
线性映射之间可以加法和数乘,做完还是线性映射。
基变换下的线性映射
\(\text{Im}\ \sigma\) 是 \(\sigma\) 的值域,又名像空间。
设 \((\sigma(\vec\varepsilon_1),\cdots,\sigma(\vec\varepsilon_n))=(\vec\eta_1,\cdots,\vec\eta_m)A\),则 \(\dim\text{Im}\ \sigma=r(A)\)。
\(\sigma\) 是满射,当且仅当 \(\dim\text{Im}\ \sigma=\dim V_2\)。
已知 \(\sigma\) 在一组基 \(\vec\alpha_i\) 下的矩阵 \(A\),求 \(\text{Im}\ \sigma\) 的一组基:把 \(C(A)\) 中一组基拿出来,作为 \(\vec\alpha_i\) 们的系数。即 \(\dim \text{Im}\ \sigma=\dim C(A)\)。
\(\ker \sigma\) 是所有 \(\sigma(\vec a)=\vec 0\) 的集合。
\(\sigma\) 是单射,当且仅当 \(\dim \ker \sigma=0\)。
若 \(A\) 是在两组基下的矩阵,则:\(\dim \ker \sigma=\dim N(A)\)。
已知 \(\sigma\) 在一组基 \(\vec\alpha_i\) 下的矩阵 \(A\),求 \(\ker \sigma\) 的一组基:把 \(N(A)\) 中一组基拿出来,作为 \(\vec\alpha_i\) 们的系数。
线性变换是单射 \(\Leftrightarrow\) 是满射 \(\Leftrightarrow\) 是双射。
\(\dim\ker\sigma+\dim\text{Im}\ \sigma=\dim V_1\)。
同一个线性映射在不同基下的矩阵具有相抵关系。
最后,线代期末 四则运算大战 day2 加油!
upt 2022/1/2:最后一题不会,四则运算大战 day2 AK 失败。