《线性代数》学习笔记
Chapter 1: Vector Spaces
1.1 Introduction
向量相加:
标量乘法:
可以用
1.2 Vector Spaces
向量空间
域
(加法交换)。 (加法结合)。- 存在
满足 (单位元,零向量)。 (加法逆元)。 。 。 。 。
向量空间也称 线性空间 (linear space)。
常见线性空间
多项式空间
定理 1.1(消去律)
设
。若 ,则 。 推论 1
零向量唯一。
推论 2
加法逆元唯一。
定理 1.2
(a)
。 (b)
。 (c)
。
- 显然的运算规律的正确性。
1.3 Subspaces
子空间
线性空间
定理 1.3
的子集 是子空间,当且仅当以下三个条件同时成立: (a)
。 (b)
( 对加法封闭)。 (c)
( 对标量乘法封闭)。
- 用于证明子空间。
定理 1.4
的任意子空间的交是子空间。
两个子空间的并是子空间当且仅当它们具有包含关系。从两个子空间构造包含它们空间的方法是
1.4 Linear Combinations and Systems of Linear Equations
线性组合
设
张成
定理 1.5
是 的子空间。 的包含 的子空间包含 。
生成
若
1.5 Linear Dependence and Linear Independence
寻找最小的生成
线性相关
线性无关
若
- 空集线性无关。
- 在线性无关的集合上,
只有平凡表示。
定理 1.6
设
,若 线性相关,则 线性相关。 推论
若
线性无关,则 线性无关。
*定理 1.7
对
, 线性相关当且仅当 。
- 若没有
的真子集生成 ,则 线性无关。
1.6 Bases and Dimension
基
基的大小不一定有限,如
定理 1.8
是 的一组基当且仅当 被唯一的 表示。 根据
只有平凡表示证明。
- 每个向量可以写为唯一的
元组(若基中元素有序)。
定理 1.9
若
被有限集 生成,则某个 的子集是 的基(不一定唯一), 有有限基。
- 有限生成集可以约减为基。
*定理 1.10 (Replacement Theorem)
设
被大小为 的 生成, 是 的大小为 的线性无关子集。则 且存在大小为 的 使得 生成 。 对
从 归纳证明。 推论 1
设
有有限基,则 的所有基大小相等。
维度
推论 2
(a) 生成集的大小不小于
,大小为 的生成集是基。 (b) 大小为
的线性无关集是基。 (c)
的线性无关集可以扩展为基。
定理 1.11
设
是有限维线性空间 的子空间,则 有限维且 。若 ,则 。 推论
的基可以扩展为 的基。
Chapter 2: Linear Transformations and Matrices
假设所有线性空间在相同的域
2.1 Linear Transformations, Null Spaces, and Ranges
线性变换
函数
线性变换具有以下性质:
。 是线性变换当且仅当 。常用于证明线性变换。 。 是线性变换当且仅当 。
零空间与像空间
线性变换
定理 2.1
零空间和像空间是
和 的子空间。
定理 2.2
设
是 的基,则
- 由
的基计算 的基。
零化度和秩
若
*定理 2.3 (Dimension Theorem)
证明
设
是 的基, 是 的基,证明 是 的基。
- 核越大,秩越小。
定理 2.4
是单射当且仅当 。
定理 2.5
若
,则以下等价: (a)
是单射。 (b)
是满射。 (c)
。
若
*定理 2.6
设
是 的基,对任意 ,存在唯一的线性变换 使得 。 推论
若线性变换
,则 。
- 线性变换被它对基的作用唯一决定。
2.2 The Matrix Representation of a Linear Transformation
线性变换和矩阵一一对应。从一个视角得到的性质可以完美推广到另一个视角。
有序基
生成
定义有序基为了将线性空间的元素与
对
坐标向量
定义
其中
线性变换的矩阵表示
对
映射的加法和标量乘法
对映射
定理 2.7
设线性变换
,则 (a)
是线性变换。 (b) 在映射的加法和标量乘法下,所有
线性变换是在 上的线性空间。
记
定理 2.8
(a)
。 (b)
。
2.3 Composition of Linear Transformations and Matrix Multiplication
记
定理 2.9
是线性变换。
定理 2.10
设
,则 (a)
且 。 (b)
。 (c)
。 (d)
。
- 根据线性变换和矩阵的等价性,反映了矩阵乘法的性质。
矩阵乘法
设
- 从线性变换的角度考虑,矩阵的每一列描述了原空间的基被映到新空间的哪个位置。
的第 列相当于 作用在 的第 列,相当于 的每一列以 的第 列的对应行作为系数的线性组合(定理 2.13)。
定理 2.11
。 推论
。
单位矩阵
定义
定理 2.12
设
是 矩阵, 是 矩阵, 是 矩阵,则 (a)
,且 。 (b)
。 (c)
。 (d) 若
,则 。 推论
- 定理 2.10 的矩阵版本。
定理 2.13
设
和 是 和 的列向量,则 (a)
。 (b)
。
定理 2.14
左乘变换
设
定理 2.15
设
是 矩阵,则 是线性变换。设 和 是 和 的标准基,则 (a)
。 (b)
当且仅当 。 (c)
且 。 (d) 若
是线性变换,则存在唯一的 矩阵 使得 。 。 (e) 设
是 矩阵,则 。 (f) 若
,则 。
- 在矩阵和线性变换之间建立双射。
定理 2.16
设
有定义,则 有定义且 。
2.4 Invertibility and Isomorphism
维度相同的线性空间同构(在相同的域
逆
设
对可逆函数
。 。特别地, 可逆。
一个函数可逆当且仅当它同时是单射和满射,可知在有限维空间上的线性变换可逆有必要条件
- 设
是线性变换, ,则 可逆当且仅当 。
定理 2.17
设线性变换
可逆,则 是线性变换。
- 线性变换的逆是线性变换。
可逆矩阵
设
引理
设
是可逆线性变换,则 有限维当且仅当 有限维。此时 。
定理 2.18
可逆当且仅当 可逆,此时 。
- 线性变换和矩阵之间的桥梁。
推论 1
可逆当且仅当 可逆。 推论 2
可逆当且仅当 可逆,此时 。
同构
称线性空间
同构是等价关系。
定理 2.19
对有限维线性空间
, 和 同构当且仅当 。 推论
和 同构当且仅当 。
- 不要忘记我们正在假设线性空间在
上。
定理 2.20
是同构,其中 。 推论
。
基的标准表示
线性空间
定理 2.21
对任何有限维线性空间
, 是同构。
- 最终证明了抽象线性空间上的线性变换和
上的线性变换的变换是等价的。
2.5 The Change of Coordinate Matrix
基变换是帮助我们切换视角的工具。
定理 2.22
设
和 是有限维线性空间 的基, ,则 (a)
可逆。 (b)
。
基变换矩阵
因为
所以
接下来只考虑
定理 2.23
推论
其中
的第 列是 的第 个向量。
相似
称
2.6 Dual Spaces
对偶空间
称
对
定理 2.24
固定
, 是 的基。对任意 ,
对偶基
称
定理 2.25
设
是有限维线性空间 的有序基。对任意线性变换 , 其中 是线性变换,满足 。
拉回:
转置
定理 2.25 定义的线性变换
对
引理
若
,则 。 定理 2.26
定义
其中 ,则 是同构。 推论
任何
的有序基都是 的某个有序基的对偶基。
Chapter 3: Matrix
3.2 The Rank of a Matrix and Matrix Inverses
秩
定义矩阵
定理 3.3
定理 3.4
是 矩阵, 是 的可逆矩阵,则 (a)
。 (b)
。 (c)
。 推论
初等行变换和初等列变换不改变矩阵的秩。
初等行变换可以用可逆矩阵表示。
定理 3.5
设
,则
定理 3.6
设
矩阵 的秩为 ,则 且 可以用初等行变换和列变换变形为 其中
都是零矩阵。 推论 1
对秩为
的 矩阵 ,存在可逆的 矩阵 和 矩阵 ,使得 其中
。 推论 2
(a)
。 (b) 矩阵的秩等于线性无关的行的最大数量,即行向量张成子空间的维度。
(c) 矩阵的行和矩阵的列张成相同维度的子空间,等于矩阵的秩。
推论 3
可逆矩阵是初等矩阵的乘积。
定理 3.7
(a)
。 (b)
。 (c)
。 (d)
。
线性映射不会扩大空间维度。
矩阵的逆
将
*LU Decomposition
设
用处:线性方程组
求法:将
LU 分解求矩阵的逆:
3.3 Systems of Linear Equations —— Theoretical Aspects
齐次线性方程组
线性方程组
任何齐次线性方程组至少有
相容
线性方程组
定理 3.8
设
是 的解集,则 , 。 推论
若
,则 有非零解。
定理 3.9
设
是 的解集, 是 的解集。 ,其中 是 的任意一组解。
定理 3.10
有唯一解当且仅当 可逆。
设
增广矩阵
定理 3.11
相容当且仅当 。
Chapter 4: Determinants
4.1 Determinants of Order 2
行列式
定义
定理 4.1
行列式关于每一行是线性函数,即
且
定理 4.2
可逆当且仅当 。逆矩阵为
4.2 Determinants of Order
余子式
给定
行列式
对
对
代数余子式
称为
证明行列式相关性质一般是通过沿第一行代数余子式展开使用数学归纳法。
定理 4.3
矩阵的行列式是关于每一行的线性函数。对任意 , 推论
若
有一行全是 ,则 。
引理
如果
的第 行等于 ,则 。
定理 4.4
矩阵的行列式可由沿任意一行的代数余子式展开得到。即对任意
, 推论
若
有两行相等,则 。
定理 4.5
若
由 交换两行得到,则 。
定理 4.6
若
由 的一行加上另一行的若干倍得到,则 。 推论
若
的秩小于 ,则 。
4.3 Properties of Determinants
定理 4.7
。 证明
先证明
是初等矩阵的情况,再分成 是否可逆分别证明。 推论
可逆当且仅当 ,此时 。
定理 4.8
。
定理 4.9(Cramer’s Rule)
设
是 个变量, 个方程的线性方程组。若 ,则方程有唯一解 其中
是 的第 列替换为 。 证明
设
是将单位矩阵第 列换成 得到的矩阵,则 , 。于是 。
Chapter 5:Diagonalization
5.1 Eigenvalues and Eigenvectors
可对角化
特征值和特征向量
非零向量
定理 5.1
可对角化当且仅当存在特征向量组成的有序基。
定理 5.2
是特征向量当且仅当 。
特征多项式
特征多项式的根是特征值。
相似矩阵的特征多项式相同:
因此,对线性变换
计算特征向量:设
定理 5.3
(a)
的特征多项式是度为 且首项系数为 的多项式。 (b)
有至多 个特征值。
定理 5.4
设
是 的特征值,则 是特征值为 的特征向量当且仅当 且 。
5.2 Diagonalizability
*定理 5.5
设
是 的不同的特征值。设 对应的特征向量为 ,则 线性无关。 证明
假设线性相关。不妨设
,则 。而 ,所以 。若 线性无关,则 ,于是 ,矛盾,所以 线性相关。归纳即可。 推论
若
有 个不同特征值,则 可对角化。
分裂
定理 5.6
可对角化线性变换的特征多项式分裂。
证明
对角矩阵的特征多项式分裂,而可对角化矩阵可以通过相似变换变为对角矩阵,又因为相似矩阵的特征多项式相同,所以可对角化矩阵的特征多项式分裂。
代数重数
特征值
特征子空间
定理 5.7
设特征值
在特征多项式的重数为 ,则 。 证明
设
是 的有序基,扩展成 的有序基 。设 ,则
的特征多项式 。于是 不超过 的重数。
引理
设
是 的不同特征值。设 。若 ,则 。 证明
用定理 5.5 即可。
定理 5.8
设
是 的不同特征值。设 是 的有限线性无关子集,则 是 的线性无关子集。 证明
假设线性相关,引理得到每个
内部的线性组合为 ,进一步得到每个元素的系数为 。
定理 5.9
设
是有限维空间的线性算子且特征多项式分裂。设 是 的所有不同的特征值。 (a)
可对角化当且仅当每个 等于 在特征多项式的重数。 (b) 若
可对角化且 是 的有序基,则 是 的特征向量有序基。 证明
(a) 若
可对角化,则存在特征向量有序基 。容易证明 ,其中 是 的几何重数。对 求和得 。相反,根据定理 5.8,每个特征子空间的一组有序基可以构成 的特征向量有序基,因为 。
应用:矩阵快速幂
应用:常系数齐次线性微分方程组
设
和与直和
对
子空间的和的每个元素的表示方法(子空间的元素的和)不一定唯一。
称
且
记为
定理 5.10
设
是有限维线性空间 的子空间,则以下命题等价: (a)
。 (b)
且对任意 ,若 ,则 。 (c) 每个
可以被唯一表示为 ,其中 。 (d) 若
是 的有序基,则 是 的有序基。 (e) 存在
的有序基 ,使得 是 的有序基。 证明
(a) -> (b):若
,则 。 (b) -> (c):假设有两个表示,作差,由 (b) 得
。 (c) -> (d):设
的线性组合为 ,由 (c) 可知每个子空间的对应线性组合为 ,于是每个系数为 。 (d) -> (e):显然。
(e) -> (a):设
。如果 ,那么容易得到 的非平凡线性组合,矛盾。
定理 5.11
可对角化当且仅当 是每个特征值的特征子空间的直和。 证明
结合定理 5.9 和定理 5.10 易证。
5.4 Invariant Subspaces and the Cayley-Hamilton Theorem
不变子空间
循环子空间
称为
定理 5.21
设
是 的 -不变子空间,则 的特征多项式是 的特征多项式的因式。
定理 5.22
设
是 生成的 -循环子空间, ,则 (a)
是 的基。 (b) 若
,则 的特征多项式为 证明
(b) 设
,则 其特征多项式为
。
定理 5.23 (Cayley-Hamilton)
设
是有限维空间 上的线性算子, 是 的特征多项式,则对任意 , 。 证明
设
是 生成的 -循环子空间, 。由定理 5.22(a),存在 使得 由定理 5.22(b),
的特征多项式为 于是
。由定理 5.21, 是 的因式,所以 。
定理 5.24
设
是其若干子空间的直和,则其特征多项式为这些子空间的特征多项式的乘积。
矩阵的直和
定义矩阵
Chapter 6:Inner Product Spaces
6.1 Inner Products and Norms
内积
内积 (inner product) 是二元运算
。 。 。 ,若 。
当
标准内积
对
为
共轭转置
定义
弗罗贝尼乌斯内积
对
内积空间
定理 6.1
(a)
。 (b)
。 (c)
。 (d)
当且仅当 。 (e) 若对任意
, ,则 。
模长
定义
定理 6.2
(a)
。 (b)
当且仅当 。 (c)
(Cauchy-Schwarz)。 (d)
(triangle)。 证明
(c)
。取 ,则 (d)
正交和标准正交
称
标准化
将每个向量除以其长度的操作称为 标准化 (normalizing)。
6.2 The Gram-Schmidt Orthogonalization Process and Orthogonal Complements
标准正交基
设
定理 6.3
设
是 的正交子集。若 ,则 推论 1
若
标准正交,则 推论 2
若
标准正交,则 线性无关。
定理 6.4
设
是 的线性无关子集。定义 ,其中 ,且 则
正交且 。 证明
归纳证明
于是
正交。根据 的构造方式可知 ,再根据定理 6.3 的推论 2 可知 。
定理 6.4 的构造正交子集的过程称为 格拉姆-施密特正交化 (Gram-Schmidt orthogonalization)。
定理 6.5
设
是内积空间。 存在标准正交基 ,且对任意 , 推论
设
,则 。
傅里叶系数
对内积空间
正交补
对内积空间
定理 6.6
设
是有限维内积空间 的子集, ,存在唯一的 和 使得 。设 是 的标准正交基,则 推论
是 的距离 最近的向量,即对任意 , 。 称为 在 上的 正交投影 (orthogonal projection)。
定理 6.7
设
是 维内积空间的标准正交子集。 (a)
可被扩展为标准正交基 。 (b) 设
,则 是 的标准正交基。 (c) 设
是 的任何子空间,则 。
6.3 The Adjoint of a Linear Operator
定理 6.8
设
是有限维内积空间,设 是线性变换,则存在唯一的 使得 。 证明
设
是标准正交基。令 则
。根据 的线性性和内积关于第一个分量的线性性, 。 唯一性显然。
定理 6.9
设
是有限维线性空间。存在唯一的线性算子 使得 。 证明
设
,容易证明 是线性变换。由定理 6.8, 。设 ,容易证明 线性且唯一。
伴随变换
称
定理 6.10
设
是有限维内积空间 的 标准正交基,则 证明
设
, , ,则由定理 6.5, 推论
设
是 矩阵,则 。
定理 6.10 非常重要。
定理 6.11
设
是内积空间 上的线性算子,则 (a)
。 (b)
。 (c)
。 (d)
。 (e)
。 推论
对矩阵有类似结论。
最小二乘
给定平面上的一些点
设
则
于是
直线可以改成
引理
。 证明
若
,则 。 若
,则 于是
。 推论
若
,则 可逆。
线性方程组的最小范数解
求
6.4 Normal and Self-Adjoint Operators
引理
设
是有限维内积空间 上的线性算子。若 有特征向量,则 有特征向量。 证明
设
是特征值, 是特征向量,则 所以
,即 非零。
定理 6.14(Schur)
设
是有限维内积空间 上的线性算子且 的特征多项式分裂。存在标准正交基 使得 是上三角矩阵。 证明
时显然。 由引理,
存在特征向量 。设 且 ,证明 是 -不变子空间。对 使用归纳假设即可。
正规变换
若
定理 6.15
设
是正规算子。 (a)
。 (b)
是正规算子。 (c) 若
,则 。 (d) 若特征向量
对应不同特征值,则 正交。 证明
(a) 对任意
, (c) 设
,则 。由 (b), 正规。由 (a), (d)
定理 6.16
对有限维复内积空间
, 正规当且仅当存在特征向量的标准正交基。 证明
设
正规,由代数学基本定理和 Schur 分解得到标准正交基 ,使用数学归纳法,结合定理 6.5 和 6.15 证明。 反方向显然。
自伴随变换
若
自伴算子是正规算子的特例。
引理
设
是自伴算子。 (a)
的特征值是实数。 (b) 若
是实内积空间,则 的特征多项式分裂。 证明
(a) 容易证明
。 (b) 由代数学基本定理和 (a)。
定理 6.17
设
是实内积空间的线性算子,则 是自伴算子当且仅当存在特征向量的标准正交基。 证明
设
是自伴算子。由引理 (b) 和 Schur 定理,存在标准正交基 使得 是上三角矩阵。但 所以
是对角矩阵, 由特征向量构成。 反方向显然。
6.5 Unitary and Orthogonal Operators and Their Matrices
保持长度的线性变换同时保持内积。
幺正算子
设
引理
设
是有限维内积空间 上的自伴随算子。若 ,则 。 证明
由定理 6.16 或 6.17,存在特征向量的标准正交基
。若 ,则 , 于是
。
以下定理的 (d) -> (a) 说明幺正算子是正规算子。
定理 6.18
设
是有限维内积空间。以下命题等价: (a)
。 (b)
。 (c) 若
是标准正交基,则 是标准正交基。 (d)
。 证明
(d) -> (a):
,于是 。由引理, 。因为 的维度有限,所以 (练习 2.4.10)。 推论 1
对实内积空间
,存在 的特征值绝对值为 的特征向量的标准正交基,当且仅当 自伴随且正交。 推论 2
对复内积空间
,存在 的特征值绝对值为 的特征向量的标准正交基,当且仅当 是幺正算子。
定理 6.19
设
是 复矩阵。 正规当且仅当 和对角矩阵 酉等价。
定理 6.20
设
是 实矩阵。 对称当且仅当 和对角矩阵 正交等价。
6.6 Orthogonal Projections and the Spectral Theorem
正交投影
定理 6.24
是正交投影当且仅当 有伴随算子 且 。 证明
设
是正交投影。
且 。因为 是投影,所以 。对任意 ,设正交分解为 和 ,则 于是
。 设
。 对任意
,设 ,则 。于是 。设 , ,且存在 。于是 ,即 。于是 。对任意 ,设 ,则 。因此 是投影。
定理 6.25 (The Spectral Theorem)
设
有特征值 , 是正规算子( )或自伴算子( ), 是 的特征子空间, 是到 的正交投影。 (a)
。 (b) 设
,则 。 (c)
。 (d)
,称为 单位算子分解 (resolution of the identity operator)。 (e)
,称为 谱分解 (spectral decomposition)。 称为 的 谱 (spectrum)。 推论 1
若
,则 正规当且仅当 。 证明
若
,则 和 交换。 若
正规,则 。由拉格朗日插值,存在 ,则 。 推论 2
若
,则 幺正当且仅当 正规且 。 推论 3
若
且 正规,则 自伴当且仅当 的所有特征值都是实数。 推论 4
是 的多项式。
6.7 The Singular Value Decomposition and the Pseudoinverse
考虑
我们希望将
设
于是
6.8 Bilinear and Quadratic Forms
研究元素是向量空间。
双线性型
双线性型的矩阵表示
设
对应的
定理 6.32
是同构。
合同
对
合同是等价关系。
定理 6.33
设
和 是两组基, 是从 到 的基变换矩阵,则 。
对称双线性型
若
定理 6.34
对称当且仅当 对称。
可对角化双线性型
若存在
推论
设
是有限维线性空间上的可对角化双线性型,则 对称。
引理
设
是非零对称双线性型,且 的特征不为 ,则存在 使得 。 证明
存在
。若 且 ,则 。
定理 6.35
设
是特征不为 的域上的线性空间,则 上的对称双线性型可对角化。 证明
数学归纳,设
。 设
是非零对称双线性型,则存在 。设 ,则 , 。
是非零对称双线性型。根据归纳假设,存在 的有序基 使得对任意 , 。令 即可。
双线性型的可对角化是矩阵和对角矩阵合同,线性算子的可对角化是矩阵和对角矩阵相似。
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 阿里最新开源QwQ-32B,效果媲美deepseek-r1满血版,部署成本又又又降低了!
· 单线程的Redis速度为什么快?
· SQL Server 2025 AI相关能力初探
· AI编程工具终极对决:字节Trae VS Cursor,谁才是开发者新宠?
· 展开说说关于C#中ORM框架的用法!