线性代数复习
线性代数复习
所用参考书为居余马《线性代数》,清华大学出版社出版。
一、行列式
常用的二阶和三阶行列式
行列式的基本概念
n阶行列式等于\(D=\sum a_{1j}A_{1j}\),其中\(A_{1j}=(-1)^{1+j}M_{1j}\),\(M_{1j}\)为除去第一行和第j列剩下的n-1阶行列式。
其中\(A_{1j}\)称为元素\(a_{1j}\)代数余子式,M为余子式。\(a_{ii}\)所在的对角线为主对角线,称为主对角元。另一条对角线为副对角线。
行列式的性质
这些性质常用来计算行列式。
-
行列式的某行和某列(按原顺序)互换,其值不变。这保证行列式对行成立的性质都适用于列。
-
行列式可以按任意一行进行展开,不仅仅是第1行。
-
行列式的某行所有元素都乘1个系数,那么这个系数可以提出来。
行列式的某行元素表示为\(a_{ij}+b_{ij}\),那么这个行列式的值等于两个行列式的和,其中一个该行为\(a_{ij}\),另一个该行为\(b_{ij}\).
某行元素全为0,那么行列式的值为0.
-
行列式中两行元素成比例,行列式值为0.
-
行列式做倍加行变换,行列式的值不变。
-
行列式的两行对换,行列式的值反号。
-
行列式的某一行元素乘另一行对应元素的代数余子式之和等于0。
行列式的计算
下面是手工计算行列式的常见方法:
-
上(下)三角行列式的值等于主对角元的乘积。
-
对于普通行列式:
- 可以对其做倍加行变换和两行对换,将其变为上三角行列式求解。
- 也可以将某行元素化为只有一个元素,利用代数余子式展开进行降阶运算。
-
奇数阶反对称行列式(\(a_{ij}=-a_{ji}\),主对角元为0)等于0.
-
\[\left | \begin{matrix} A & \textbf{0} \\ \textbf{*} & B \\ \end{matrix} \right | = |A||B| \]
同理,将0和*****对换也可。
克拉默法则
n个未知量n个方程的线性方程组,在系数行列式不等于0时,求解这个线性方程组的解的行列式解法,称为克拉默法则:
设有一线性非齐次方程组:
它的系数行列式为\(D\ne 0\),则方程组有唯一解:
其中\(D_j\)是用常数项\(b_1,...,b_n\)替换D中第\(j\)列所成的行列式。
非齐次是指常数项不全为0.
推论:
若齐次线性方程组,其系数行列式\(D\ne 0\),则方程只有零解。原因是\(D_j\)均为0。
该法则主要有理论意义,实践起来工作量很大。
二、矩阵
高斯消元法
高斯消元法,用来求解线性方程组,借此也引入了增广矩阵和系数矩阵的概念。
高斯消元法的步骤是,先将增广矩阵化为阶梯型矩阵,之后再化为行简化阶梯矩阵。
矩阵的基本概念
-
方阵A的行列式detA=0时,A为奇异矩阵;否则,为非奇异矩阵。
奇异矩阵会有奇异现象,即矩阵乘法可能会不满足消去律,例如\(AB=0\),若\(A\)为奇异矩阵,那么不能推出\(B=0\)。因为A行列式为0,则以A为系数矩阵的齐次方程组有非零解,将其各个非零解作为B的列向量即可。非奇异矩阵则没有这个现象,满足数乘的特点。
-
两个方阵行列式都满足该重要性质:\(|AB|=|A||B|\).
推论:
- \(|A|^2=|A||A|=|A||A^T|=|AA^T|\),其中\(|A|=|A^T|\),因为行列互换不改变行列式的值。
-
矩阵的转置\(A^T\)就是其元素\(a_{ji}\)的j作为列号,i作为行号。有如下运算规律:
- \((A+B)^T=A^T+B^T\)
- \((AB)^T=B^TA^T\)
-
非主对角元均为0的矩阵称为对角矩阵。
逆矩阵
矩阵\(A\)可逆的充分必要条件是\(|A|\ne 0\),且\(A^{-1}=\frac{1}{|A|}A^*\)。这是一种求逆矩阵的方法,但是不常用。
\(A^*\)称为矩阵A的伴随矩阵。
矩阵A的伴随矩阵是,A的代数余子式矩阵cof\(A\)的转置矩阵。\(cof\textbf{A}=(A_{ij})_{n\times n}\),是代数余子式组成的矩阵。
可以通过\(|A||A^{-1}|=1\)以及伴随矩阵得到该结论。
可逆矩阵的运算规律
\((A^{-1})^{-1}=A\)
\((kA)^{-1}=k^{-1}A^{-1}\)
\((AB)^{-1}=B^{-1}A^{-1}\)
\((A^T)^{-1}=(A^{-1})^T\)
\(|A^{-1}|=|A|^{-1}\)
\(AA^*=A^*A=|A|I\)
但注意,\((A+B)^{-1}\ne A^{-1}+B^{-1}\)
通过初等变换求逆矩阵
这是求逆矩阵的常用方法。可逆矩阵可以通过若干次初等行变换化为单位矩阵(参考高斯消元)。因此若\(P_i\)为初等矩阵,则
因此有:
可得结论:如果对A和I同时做同样的初等行变换,当A变为\(I\)时,\(I\)变为\(A^{-1}\)。即
同理,也可以用初等列变换来求逆矩阵,即:
矩阵的初等变换和初等矩阵
高斯消元法就是对增广矩阵做3类行变换,然而对矩阵的行或列做相对应的变换,称为初等变换。初等变换可以用矩阵乘法来表示,因此引入初等矩阵的概念:
初等矩阵:将单位矩阵做一次初等变换得到的矩阵。对应3类初等行(列)变换,有3种类型的初等矩阵:
-
初等倍乘矩阵
\[E_i(c)=diag(1,1,...,c,...,1) \]由单位矩阵第i行(列)乘c得到的。
-
初等倍加矩阵:\(E_{ij}(c)\)将单位矩阵第i行乘c加到第j行,或由第j列乘c加到第i行。
-
初等对换矩阵:\(E_{ij}\)是由单位矩阵第\(i,j\)行(列)对换而得到的。
一般结论:初等矩阵\(E\)左乘矩阵A,则结果等于A的行进行对应的初等变换。初等矩阵E右乘矩阵A,其结果等于A的列进行对应的初等变换。
初等矩阵都是可逆矩阵,其逆矩阵就等于其相应的逆变换。
分块矩阵
分块矩阵可以使矩阵运算更为简明。
-
分块矩阵的乘法运算
分块后的两个矩阵的乘法运算和之前一致,将小块当做元素即可,但需要保证后边矩阵按行的分法等于前面矩阵按列的分法。
-
分块矩阵的转置
将各个小块当做元素转置,并且将各个小块也进行转置。
三、线性方程组
n维向量及其线性相关性
数域F上的全体n元向量,在其上定义加法和数乘运算,就称之为数域F上的n维向量空间,记为\(F^n\)。
向量的线性相关性
若m个向量\(a_1,a_2,...,a_m\in F^n\),有m个不全为0的数\(k_i\in F\),使得
成立,那么这m个向量线性相关;否则,即只有所有k全为0时等式才成立,那么这m个向量线性无关。
- 充要条件
-
向量组\(a_1,a_2,...,a_m(m\ge 2)\)线性相关的充要条件是至少有一个向量可以由其余m-1个向量线性表示。
-
向量组\(\alpha_1,\alpha_2,...,\alpha_r\in F^n\),其中
\[\alpha_1=(a_{11},a_{21},\cdots,a_{n1})^T, \\\cdots \\ \alpha_r=(a_{1r},a_{2r},\cdots,a_{nr})^T \]它们线性相关的充要条件是齐次线性方程组
\[Ax=0 \]有非零解,其中
\[A=(\alpha_1,\alpha_2,...,\alpha_r), \textbf{x}=(x_1,...,x_r)^T \]即它们线性相关的充要条件是各个向量按列依次排列得到的齐次线性方程组有非零解(行列式等于0)。线性无关充要条件是只有零解。
- 一些定理+推论
- 向量组部分线性相关,那么整体也线性相关;整体 线性无关,那么部分也线性无关。
- 如果未知数的数量大于方程数量,即n<r,线性方程组求解时一定含有自由未知量,必有非零解。因此,\(R^n\)中 任意一组线性无关的向量最多只有n个
向量组的秩
若向量组中存在r个线性无关的向量,且任意r+1个向量线性相关。那么r为向量组的秩。这r个向量组成的向量组,称为该向量组的极大线性无关组。
设两个向量组a和b,若b可以由a线性表示,那么b的秩小于等于a的秩。
矩阵的秩
初等变换不改变矩阵的秩。n阶矩阵满秩的充要条件是行列式的值不等于0.
- 子式的概念
矩阵\(A=(a_{ij})_{m\times n}\)的任意k行和任意k列的交点上的\(k^2\)个元素按原顺序排列的k阶行列式称为A的k阶子行列式,简称为A的k阶子式。当该行列式的值等于0(不等于0)时,称为k阶零子式(非零子式),当对角线上的元素均为原A矩阵的对角元时,称为A的k阶主子式。
秩(A)=r的充要条件是A的非零子式的最高阶为r。
- 矩阵相加相乘以后秩的情况
-
\(r(A+B)\le r(A)+r(B)\),可通过A+B的列向量可以通过A和B列向量线性表示来证。
-
\(r(AB)\le min(r(A), r(B))\)
-
设A是\(m\times n\)阶矩阵,P,Q分别为m、n阶可逆矩阵,则\(r(A)=r(PA)=r(AQ)=r(PAQ)\).
-
设A是\(m\times n\)矩阵,B是\(n\times s\)矩阵,若AB=0,则\(r(A)+r(B)\le n\)。见149页证明。
矩阵的相抵标准形
若矩阵A经过初等变换可以化为B,即存在可逆矩阵P和Q,使得PAQ=B,则称A相抵于B,记作$ A\cong B$。这是一种等价关系。
若矩阵A为\(m\times n\)矩阵,且秩为r,则一定存在可逆矩阵m阶矩阵P和n阶矩阵Q,使得
由此可知,任意秩相同的同型矩阵都是相抵的。
齐次线性方程组有非零解的条件及解的结构
A是\(m\times n\)矩阵,则齐次线性方程组\(Ax=0\)有非零解的充要条件是秩小于n。
只有零解的充要条件是秩等于A的列数。当A为n阶矩阵时,\(Ax=0\)只有零解(有非零解)的充要条件是\(|A|\ne 0\)(\(|A|=0\))。
解的结构
- 基础解系
设\(x_1,x_2,...,x_p\)是\(Ax=0\)的解向量,如果:
- 他们线性无关
- \(Ax=0\)的任意一个解向量可由\(x_1,...,x_p\)线性表示,则称\(x_1,...,x_p\)是\(Ax=0\)的一个基础解系。
定理:
设A是\(m\times n\)矩阵,若\(r(A)=r<n\),则\(Ax=0\)存在基础解系,基础解系含\(n-r\)个解向量。
- 如何求解基础解系?
设\(m\times n\)矩阵A的秩为r,对矩阵A作初等行变换,化为行简化阶梯矩阵,选择n-r个自由未知量,设定n-r个值:
\((1,0,...,0),(0,1,...,0),...,(0,0,...,1)\),连同基本未知量得到基础解系,得到通解:
非齐次线性方程组有解的条件和解的结构
对于非齐次线性方程组\(Ax=b\),下列命题等价:
- \(Ax=b\)有解(相容)
- b可由A的列向量组线性表示
- 增广矩阵\((A,b)\)的秩等于系数矩阵A的秩。
\(Ax=b\)有唯一解的充要条件是:\(r(A,b)=r(A)=A的列数\)。
解的结构
若\(Ax=b\)有解,则其一般解为
其中\(x_0\)是\(Ax=b\)的一个特解,而 \(\overline{x}\) 是\(Ax=0\)的一般解。
四、向量空间与线性变换
向量空间
基的概念:有序向量组B=\(\{\beta_1,\cdots,\beta_n\}\subset R^n\),如果B线性无关,则\(R^n\)中任意一个向量\(\alpha\)都可以由B线性表示,且其系数组成的向量称为\(\alpha\)关于基B的坐标。
n个单位向量组成的基称为 自然基或 标准基。
两组基的变换
设\(B_1=\{\alpha_1,\cdots,\alpha_n\}\)和\(B_2=\{\eta_1,\cdots,\eta_n\}\)是\(R^n\)的两组基(旧基和新基),他们的关系为:
将右边的矩阵记为\(A\),则可以写成:
并称A为旧基B1到新基B2的过渡矩阵(变换矩阵)。且A是可逆的(行列式不等于0),A中第j列是\(\eta_j\)在旧基B1下的坐标。
定理:向量\(\alpha\)在两组基B1和B2下的坐标向量分别为\(x\)和\(y\),过渡矩阵为A,则有
由自然基B1到基B2=\(\{\eta_1,\cdots,\eta_n\}\)的过渡矩阵A,就是将B2的各个向量按列排列成的矩阵。
欧式空间
定义了内积运算的n维实向量空间称为n维欧氏空间,仍记作\(R^n\)。
标准正交基
可以证明,\(R^n\)中两两正交且 不含零向量的向量组是线性无关的。
标准正交基的定义:
设n个向量属于\(R^n\),若他们两两之间正交,且每个向量模都是1,那么这n个向量就是一组标准正交基。
施密特正交化方法
该方法是将\(R^n\)的一组线性无关的向量转化为一组标准正交向量组。
例如\(\alpha_1,...,\alpha_n\)这组线性无关的向量要化为标准正交向量组,基本思想是,对于每个\(\beta_j\),找到垂直于前面所有\(\beta\)的向量作为\(\beta_j\)。步骤是:
-
令\(\beta_1=\alpha_1\)
-
\(\beta_j=\alpha_j-\frac{(\alpha_j,\beta_1)}{(\beta_1,\beta_1)}\beta_1-\frac{(\alpha_j,\beta_2)}{(\beta_2,\beta_2)}\beta_2-\cdots-\frac{(\alpha_j,\beta_{j-1})}{(\beta_{j-1},\beta_{j-1})}\beta_{j-1}\),其中\(j=2,3,...,n\)。
-
这样就得到了两两正交的非零向量组\(\beta_1,...,\beta_n\)。再将他们单位化为\(\eta_1,...,\eta_n\),其中\(\eta_j=\frac{\beta_j}{||\beta_j||}\)。就得到了标准正交向量组\(\eta_1,...,\eta_n\)。
正交矩阵
设A为n阶方阵,若\(A^TA=I\),则称A为正交矩阵。
A为n阶正交矩阵的充分必要条件是A的列向量组为\(R^n\)的一组标准正交基。实际上A的行向量组也是一组标准正交基。
- 正交矩阵 的性质
- \(|A|=1或-1\)
- \(A^{-1}=A^T\)
- 若A、B都是正交矩阵,那么AB也是正交矩阵。
- 若列向量\(x,y\in R^n\)在n阶正交矩阵A的作用下变换为\(Ax,Ay\),则向量的内积、长度及向量间的夹角都保持不变。欧式空间中x在正交矩阵的作用下变换为Ax,称之为欧氏空间的正交变换。
五、特征值和特征向量
设A是复数域C上的n阶矩阵,如果存在数\(\lambda\in C\)和非零的n维向量x,使得
就称\(\lambda\)是A的特征值,x是A的属于特征值\(\lambda\) 的特征向量。
根据定义,矩阵A的特征值,就是使齐次线性方程组
有非零解的\(\lambda\),即满足\(|\lambda I-A|=0\)的\(\lambda\)都是矩阵A的特征值。
因此,\(|\lambda I-A|\)称为矩阵A的特征多项式,\(\lambda I-A\)称为A的特征矩阵,\((\lambda I-A)x=\textbf{0}\)称为A的特征方程。
求解特征值和特征向量的方法
求使得\(|\lambda I-A|=0\)的\(\lambda\),并通过\((\lambda I-A)x=\textbf{0}\)求出x即特征向量。
对角矩阵或上(下)三角矩阵的n个特征值就是n个主对角元。
特征值和特征向量的性质
-
设矩阵A有n个特征值,则他们的和等于A的主对角元之和,称为A的迹,记为\(tr(A)\)。他们的乘积等于\(|A|\)。
-
若\(\lambda\)是A的特征值,x是A的属于\(\lambda\)的特征向量,则
- \(k\lambda\)是\(kA\)的特征值
- \(\lambda ^m\)是\(A^m\)的特征值
- 当A可逆时,\(\lambda ^{-1}\)是\(A^{-1}\)的特征值;
且x也是上述矩阵相对于各特征值的特征向量。
-
矩阵A和\(A^T\)的特征值相同。
相似矩阵
对于矩阵A和B,若存在可逆矩阵P,使得\(P^{-1}AP=B\),就称A相似于B,记作\(A\sim B\)。这也是一种等价关系。
由于有以下性质:\(P^{-1}(A_1A_2)P=(P^{-1}A_1P)(P^{-1}A_2P)\),所以可以推出:
若\(A\sim B\),则\(f(A)\sim f(B)\),其中\(f(x)=a_nx^n+a_{n-1}x^{n-1}+\dots +a_0\)。
定理:相似矩阵的特征值相同。(通过特征多项式来证,但反过来不成立)
矩阵可对角化的条件
矩阵可对角化是指:矩阵和对角阵相似。
n阶矩阵A与对角阵相似的充要条件是A有n个线性无关的特征向量。这n个特征向量按列组成矩阵P,则有:
,其中\(P=(x_1,...,x_n)\),\(\Lambda=diag(\lambda_1,...,\lambda_n)\)。
若A与对角阵\(\Lambda\)相似,则\(\Lambda\)的主对角元都是A的特征值,若不计\(\lambda_k\)的排列顺序,则\(\Lambda\)是唯一的,称为A的相似标准形。
定理:矩阵A的属于不同特征值的特征向量是线性无关的,k重特征值最多有k个线性无关的特征向量。
矩阵对角化的应用:
- 通过将矩阵对角化,可以方便地求解\(A^k\):\(A=P\Lambda P^{-1}\),\(A^k=P\Lambda ^kP^{-1}\)。
实对称矩阵的对角化
共轭矩阵\(\overline{A}\),是指将矩阵A的各个元素都变为其共轭复数的矩阵。
实对称矩阵一定可对角化,其任意特征值都是实数,且对应不同特征值的特征向量是正交的。
重要定理:
对于任意一个n阶实对称矩阵A,存在n阶正交矩阵T,使得
如何求解正交矩阵?
- 由\(|\lambda I-A|\)求出全部特征值。
- 每个特征值求出相应的线性无关的特征向量,每组特征向量利用施密特正交化方法得到相互正交的标准向量组,由于不同特征值对应的特征向量正交,因此可以得到n个相互正交的单位特征向量,按列排成n阶矩阵,就是所求的正交矩阵。
六、二次型
二次型就是二次齐次多项式。n元变量\(x_1,...,x_n\)的二次齐次多项式
即
其中A为对称矩阵,为二次型对应的矩阵。
下面研究A具有的性质。
二次型在不同基下的表示
一个二次型可以看做是n维向量\(\alpha\)的一个函数,即
其中\(x\)是\(\alpha\)在\(R^n\)的一组基下的坐标向量,如果\(\alpha\)在两组基\(B_1=\{\epsilon_1,...,\epsilon_n\}\)和\(B_2=\{\eta_1,...,\eta_n\}\)下的坐标向量分别为\(x=(x_1,...,x_n)^T\)和\(y=(y_1,...,y_n)^T\)。又因为
C为过渡矩阵,所以\(x=Cy\),所以
化二次型为标准形
将一般的二次型\(f(x_1,...,x_n)\)化为\(y_1,...,y_n\)的纯平方项代数和的基本方法是做坐标变换:
其中C为可逆矩阵,使得
也就是说对于一个实对称矩阵A,寻找一个可逆矩阵C,使得\(C^TAC\)为对角矩阵。
- 合同
对于两个矩阵A和B,如果存在可逆矩阵C,使得\(C^TAC=B\),就称A合同(或相合)于B,记作\(A\simeq B\),也是一种等价关系。因此可以称A和B是合同矩阵。
正交变换法
对于任一n元二次型,\(f(x_1,...,x_n)=x^TAx\),存在正交变换\(x=Qy\),(Q为n阶正交矩阵),使得
其中\(\lambda_i\)是实对称矩阵A的特征值,Q的n个列向量均为对应特征值的标准正交特征向量。
配方法和初等变换法
- 配方法
配方法就是指,从\(x_1\)开始,将\(x_1^2\)即包含\(x_1\)的混合项配成完全平方项。
- 初等变换法
任何一个实对称矩阵A,都可以通过一系列相同类型的行、列变换成其合同标准形(即对角阵),相同类型的行列变换是指:
- 对A的i列乘c加到j列,那之后再对A的i行乘c加到j行。
- 交换A的i和j列,那么也交换A的i和j行。
- A的i列乘c,那么A的i行也乘c。
因此,初等变换法的步骤为:
-
如果\(a_{11}\ne 0\),那么可以通过倍加行、列变换将A化为
\[\left ( \begin{matrix} a_{11} & \textbf{0}\\ \textbf{0} & A_{1} \end{matrix} \right ) \] -
如果\(a_{11}=0\),但存在\(a_{ii}\)不为0,那么将第1列和第i列对换,再将第1行与第i行对换,则可以转换为第一种情况。
-
如果主对角元全为0,但必存在\(a_{ij}\ne 0\),则先将第j列加到第i行,再将第j行加到第i行,可以化为第二种情况。
因此,令一系列初等变换矩阵为\(P_i\),则
因此\(C=IP_1\cdots P_k\),所以将施加给A的列变换,施加到\(I\)上即可。
正定矩阵
如果对于任意非零向量x,恒有
则称\(x^TAx\)为正定二次型,称A为正定矩阵。
根据定义,可以得到两个结论:
- A如果为对角阵,那么只有对角元全部为正,才是正定的。
- \(C^TAC\)的正定性和A相同(C为可逆矩阵)。
因此将A合同的对角阵找出来,就容易判断正定性了。
如果A为n阶实对称矩阵,下列命题等价:
- \(A\)是正定矩阵
- 存在可逆矩阵P,使得\(A=P^TP\)。
- A的n个特征值全部大于0.
矩阵A正定,则必有:
- A的主对角元均大于0
- \(|A|>0\)
定理:
n元二次型\(x^TAx\) 正定的充要条件是\(A\)的n个 顺序主子式全大于0.
A的k阶顺序主子式是指A的左上角主子式,即
\[\left | \begin{matrix} a_{11} & a_{12} & \cdots &a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n}\\ \dots & \dots & \dots & \dots \\ a_{k1} & a_{k2} & \dots & a_{kk}\\ \end{matrix} \right | \]