第1章：向量介绍
1.1 向量与线性组合
向量加法：u+v=⎡⎢
⎢
⎢
⎢⎣u1+v1u2+v2⋮un+vn⎤⎥
⎥
⎥
⎥⎦
标量乘法：cv=⎡⎢
⎢
⎢
⎢⎣cv1cv2⋮cvn⎤⎥
⎥
⎥
⎥⎦
线性组合：cu+dv
示例：
设 u=[12]，v=[34]，
则 2u+3v=2[12]+3[34]=[2+94+12]=[1116]
1.2 向量的长度与点积
长度（范数）：∥v∥=√v21+v22+⋯+v2n
点积：u⋅v=u1v1+u2v2+⋯+unvn
柯西 - 施瓦茨不等式：|u⋅v|≤∥u∥∥v∥
示例：
设 u=[12]，v=[34]，
则 u⋅v=1×3+2×4=3+8=11
∥u∥=√12+22=√5
∥v∥=√32+42=√25=5
验证柯西 - 施瓦茨不等式：|11|≤√5×5=√25≈11.18
1.3 矩阵
矩阵加法：元素 - wise
矩阵乘法：行与列的点积
转置：交换行和列
示例：
设 A=[1324]，B=[5768]，
则 A+B=[610812]
AB=[19224350]
AT=[1234]
第2章：求解线性方程组
2.1 向量与线性方程
线性方程组：一组可以同时求解的线性方程
增广矩阵：系数矩阵加上常数向量
示例：
方程组：
{x1+2x2=32x1+3x2=5
增广矩阵：
[12∣323∣5]
2.2 消元的概念
消元：通过行变换简化方程组，目标是将增广矩阵化为上三角形式
回代：从上三角形式的矩阵中求解变量
示例：
从增广矩阵开始：
[12∣323∣5]
使用第1行消去第2行的 x1：
R2=R2−2R1
[10∣30−1∣−1]
通过回代求解：
从第2行：−x2=−1⇒x2=1
从第1行：x1+2(1)=3⇒x1=1
所以，x=[11]
2.3 用矩阵进行消元
LU分解：将 A 分解为 L 和 U，使得 A=LU
示例：
设 A=[1223]，
执行消元：
L=[1201]
U=[102−1]
验证：
L⋅U=[1201][102−1]=[1223]=A
2.4 矩阵运算规则
加法和数乘：元素 - wise
乘法：行与列的点积
转置：交换行和列
逆矩阵：对于可逆矩阵 A，存在 A−1 使得 A⋅A−1=I
示例：
求 A=[1324] 的逆矩阵。
首先，计算行列式：
det(A)=1×4−2×3=4−6=−2
然后，
A−1=1det(A)[4−3−21]=[−21.51−0.5]
验证：
A⋅A−1=[1×(−2)+2×1.51×1+2×(−0.5)3×(−2)+4×1.53×1+4×(−0.5)]=[1001]=I
2.5 逆矩阵
逆矩阵：如果 A 是可逆的，那么 Ax=b 的解就是 x=A−1b
示例：
给定 A=[1324] 和 b=[511]，
求 x。
首先，找到 A−1：
A−1=[−21.51−0.5]
然后，
x=A−1b=[−21.51−0.5][511]=[−2×5+1×111.5×5+(−0.5)×11]=[−10+117.5−5.5]=[12]
验证：
Ax=[1×1+2×23×1+4×2]=[1+43+8]=[511]=b
2.6 消元=分解:A=LU
LU分解：将 A 分解为 L 和 U，使得 A=LU
示例：
设 A=⎡⎢⎣231456789⎤⎥⎦，
执行消元：
使用第1行消去第2行和第3行的 x1：
R2=R2−2R1：[4−4,5−6,6−2]=[0,−1,4]
R3=R3−3.5R1：[7−7,8−10.5,9−3.5]=[0,−2.5,5.5]
现在，A 看起来是：
⎡⎢⎣2310−140−2.55.5⎤⎥⎦
使用第2行消去第3行的 x2：
首先，将第2行缩放以使 x2 的系数为1：R2=−1×R2：[0,1,−4]
然后，R3=R3+2.5R2：[0,−2.5+2.5,5.5−10]=[0,0,−4.5]
最终的 U 矩阵：
U=⎡⎢⎣23101−400−4.5⎤⎥⎦
L 矩阵包含用于消元的乘数：
L=⎡⎢⎣1002103.5−2.51⎤⎥⎦
验证：
L⋅U=⎡⎢⎣123.501−2.5001⎤⎥⎦⎡⎢⎣23101−400−4.5⎤⎥⎦
计算：
第1行：
1×2+0×0+0×0=2
1×3+0×1+0×0=3
1×1+0×−4+0×−4.5=1
第2行：
2×2+1×0+0×0=4
2×3+1×1+0×0=6+1=7
2×1+1×−4+0×−4.5=2−4=−2
第3行：
3.5×2+(−2.5)×0+1×0=7
3.5×3+(−2.5)×1+1×0=10.5−2.5=8
3.5×1+(−2.5)×−4+1×−4.5=3.5+10−4.5=9
因此，
L⋅U=⎡⎢⎣231456789⎤⎥⎦ （原文档此处计算有误，经修正后符合）
第3章：向量空间和子空间
3.1 向量空间
向量空间：满足加法和数乘封闭性的集合
3.2 矩阵的零空间
零空间：满足 Ax=0 的所有向量 x 的集合
示例：
设 A=[1224]，
求其零空间。
解方程 Ax=0：
{x1+2x2=02x1+4x2=0
由第一个方程 x1=−2x2，代入第二个方程成立，所以零空间是：
Null(A)={[−2x2x2]∣x2∈R}=span([−21])
3.3 Ax=b 的完整解
完整解：线性方程组 Ax=b 的解可以表示为特解加上零空间中的向量
公式：
如果 xp 是 Ax=b 的一个特解，那么完整解为：
x=xp+xh
其中 xh∈Null(A)
示例：
对于方程组 Ax=[35]，其中 A=[1223]，我们之前已经求得特解 xp=[11]，零空间是 span([−21])，所以完整解为：
x=[11]+t[−21]=[1−2t1+t],t∈R
3.4 独立性、基和维度
- 线性独立：一组向量中没有任何一个向量可以表示为其他向量的线性组合
- 基：一组线性独立的向量，它们的线性组合可以生成整个向量空间
- 维度：基向量的个数
判断线性独立的方法：
设有一组向量 {v1,v2,⋯,vk}，如果方程 c1v1+c2v2+⋯+ckvk=0 只有平凡解 c1=c2=⋯=ck=0，则这组向量线性独立
示例：
向量 [10] 和 [01] 是线性独立的，因为 c1[10]+c2[01]=[c1c2]=[00] 只有 c1=c2=0 这个解
3.5 四个子空间的维度
- 列空间：矩阵 A 的所有列向量的线性组合生成的空间，记作 Col(A)
- 行空间：矩阵 A 的所有行向量的线性组合生成的空间，记作 Row(A)
- 零空间：同上
- 左零空间：矩阵 AT 的零空间，即 Null(AT)
维度关系：
dim(Col(A))=rank(A)
dim(Row(A))=rank(A)
dim(Null(A))=n−rank(A)（如果 A 是 m×n 矩阵）
dim(Null(AT))=m−rank(A)
示例：
对于矩阵 A=[123246]，其秩 rank(A)=1，因为第二列是第一列的两倍，第三行是第一行的三倍。
列空间的维度是 1。
行空间的维度也是 1。
零空间的维度是 2−1=1。
左零空间的维度是 3−1=2。
第4章：正交性
4.1 四个子空间的正交性
正交子空间：如果两个子空间的任意两个向量都是正交的，则这两个子空间是正交的。
4.2 正交投影
投影公式：向量 b 在子空间 V 上的投影可以表示为 projVb=(v1⋅b)v1+⋯+(vk⋅b)vk，其中 {v1,⋯,vk} 是 V 的正交基。
示例：
设 u=[12] 是正交基，b=[34]，则：
p=1×3+2×412+22[12]=115[12]=[115225]
子空间投影
目标：将向量 b∈Rm 投影到由矩阵 A∈Rm×n 的列空间 Col(A) 上，找到投影向量 p 和投影矩阵 P。
几何意义：
- 投影 p 是 Col(A) 中离 b 最近的向量（欧氏距离最短）。
- 误差向量 e=b−p 垂直于 Col(A)。
二、数学推导与矩阵形式
- 投影向量的表达式
- 投影矩阵的构造
- 正交补空间的投影矩阵
- 到正交补空间 Col(A)⊥ 的投影矩阵为：
P⊥=I−P.
- 验证：
- P⊥b=b−p=e（残差向量）。
- P2⊥=P⊥（幂等性保持）。
特例分析：一维投影
场景：若 A 的列空间为一条直线（即 A=a∈Rm）：
- 投影矩阵：
P=aa⊤a⊤a.
- 投影向量：
p=a⊤ba⊤aa.
- 几何解释：标量系数 a⊤b∥a∥2 表示 b 在 a 方向上的缩放比例（类比向量点积的几何意义）。
应用实例：最小二乘法
- 线性回归问题
- 目标：拟合数据点 (xi,yi) 到直线 y=c0+c1x。
- 矩阵形式：
A=⎛⎜
⎜
⎜
⎜⎝1x11x2⋮⋮1xm⎞⎟
⎟
⎟
⎟⎠,b=⎛⎜
⎜
⎜
⎜⎝y1y2⋮ym⎞⎟
⎟
⎟
⎟⎠.
- 最优解：
c=(A⊤A)−1A⊤b.
- 投影视角
- 最小二乘解等价于将 b 投影到 Col(A)，使得残差平方和 ∥e∥2 最小。
- 物理意义：通过投影消除数据噪声，找到最佳拟合直线。
几何与代数的统一性总结
| 视角 |
几何意义 |
代数形式 |
| 投影向量 |
子空间中离原向量最近的点 |
p=Pb |
| 误差向量 |
与原子空间正交的残差 |
e=(I−P)b |
| 最小二乘 |
最小化残差平方和 |
minx|Ax−b|2 |
| 矩阵性质 |
幂等性、对称性、秩与子空间维度一致 |
P2=P,P⊤=P |
4.3 最小二乘逼近
最小二乘法：在超定系统 Ax=b 中，最小化 ∥Ax−b∥2 的解称为最小二乘解。
公式：
最小二乘解满足 ATAx=ATb
示例：
设 A=[101011]，b=⎡⎢⎣123⎤⎥⎦，求最小二乘解。
先计算 ATA 和 ATb：
ATA=⎡⎢⎣100111⎤⎥⎦[101011]=[2112]
ATb=⎡⎢⎣100111⎤⎥⎦⎡⎢⎣123⎤⎥⎦=[45]
解方程 ATAx=ATb：
[2112][x1x2]=[45]
使用公式或高斯消元法求解，得到：
x=[2353]
4.4 格拉姆 - 施密特正交化过程
格拉姆 - 施密特过程：将一组线性独立的向量转化为正交（或标准正交）向量。
步骤：
给定向量 v1,v2,⋯,vk，构造正交向量 u1,u2,⋯,uk：
u1=v1
u2=v2−proju1v2
u3=v3−proju1v3−proju2v3
依此类推。
示例：
设 v1=[10]，v2=[11]。
u1=v1=[10]
proju1v2=1×1+0×112+02[10]=[10]
u2=v2−proju1v2=[11]−[10]=[01]
现在得到正交基 [10] 和 [01]，它们也是标准正交的。
第5章：行列式
5.1 行列式的性质
行列式：行列式是一个标量函数，定义在方阵上，反映矩阵的某些特性，如是否可逆。
性质：
- 行列式为零当且仅当矩阵是奇异的（不可逆的）。
- det(AT)=det(A)。
- det(AB)=det(A)det(B)。
对于 2×2 矩阵：
det[abcd]=ad−bc
5.2 行列式和体积
行列式：行列式的绝对值表示线性变换对体积的缩放因子。
5.3 行列式的计算
-
余子式和代数余子式：
- 余子式 Mij：删除第 i 行第 j 列后得到的子矩阵的行列式。
- 代数余子式 Cij：Cij=(−1)i+jMij。
-
按行或列展开：
- det(A)=∑nj=1aijCij（按第 i 行展开）
- det(A)=∑ni=1aijCij（按第 j 列展开）
示例：
计算 3×3 矩阵 A=⎡⎢⎣147258369⎤⎥⎦ 的行列式。
按第一行展开：
det(A)=1⋅C11+2⋅C12+3⋅C13
计算代数余子式：
C11=(−1)1+1det[5869]=1⋅(5×9−6×8)=45−48=−3
C12=(−1)1+2det[4769]=−1⋅(4×9−6×7)=−(36−42)=6
C13=(−1)1+3det[4758]=1⋅(4×8−5×7)=32−35=−3
代入：
det(A)=1×(−3)+2×6+3×(−3)=−3+12−9=0
所以，det(A)=0，说明 A 是奇异的。
第6章：特征值和特征向量
6.1 特征值和特征向量
特征值方程：Av=λv，其中 λ 是特征值，v 是特征向量。
特征方程：
det(A−λI)=0
示例：
考虑矩阵 A=[2112]。
特征方程：
det[2−λ112−λ]=(2−λ)2−1=λ2−4λ+3=0
解得 λ1=1，λ2=3。
求特征向量：
对于 λ1=1：
解方程 (A−I)v=0：
[1111][v1v2]=[00]
得到 v1+v2=0，所以特征向量可以是 [1−1]。
对于 λ2=3：
解方程 (A−3I)v=0：
[−111−1][v1v2]=[00]
得到 −v1+v2=0⇒v1=v2，所以特征向量可以是 [11]。
6.2 对角化
矩阵对角化的核心目标是将一个 n×n 矩阵 A 通过相似变换转化为对角矩阵 D，即寻找可逆矩阵 P 和对角矩阵 D，使得：
P−1AP=D或等价地A=PDP−1.
这一过程的意义在于简化矩阵的运算（如幂运算、指数函数等），并揭示矩阵的深层结构。
推导过程
-
特征值与特征向量的引入
矩阵对角化的前提是 A 具有足够的线性无关特征向量。假设 A 有 n 个线性无关的特征向量 v1,v2,…,vn，对应特征值 λ1,λ2,…,λn，即：
Avi=λivi(i=1,2,…,n).
-
构造可逆矩阵 P
将特征向量 v1,v2,…,vn 作为列向量构造矩阵 P：
P=[v1v2⋯vn].
由于 v1,v2,…,vn 线性无关，矩阵 P 可逆。
-
验证 AP=PD
计算矩阵乘积 AP：
AP=A[v1v2⋯vn]=[Av1Av2⋯Avn].
根据特征方程 Avi=λivi，可得：
AP=[λ1v1λ2v2⋯λnvn].
另一方面，构造对角矩阵 D=diag(λ1,λ2,…,λn)，则：
PD=[v1v2⋯vn]⎛⎜
⎜
⎜
⎜
⎜⎝λ10⋯00λ2⋯0⋮⋮⋱⋮00⋯λn⎞⎟
⎟
⎟
⎟
⎟⎠=[λ1v1λ2v2⋯λnvn].
因此，AP=PD。
-
导出对角化公式
由于 P 可逆，对等式 AP=PD 左乘 P−1，得到：
P−1AP=D.
这即是对角化公式。
可对角化条件
矩阵 A 可以对角化，当且仅当 A 有 n 个线性独立的特征向量。数学公式前后均已添加 $ 符号标记。
示例：
继续使用 A=[2112]，我们已经找到特征向量 [1−1] 和 [11]，它们线性独立。
所以，A 可以对角化。
设 P=[11−11]，D=[1003]。
计算 P−1：
det(P)=1×1−1×(−1)=2
P−1=12[11−11]
验证 A=PDP−1：
PDP−1=[11−11][1003]12[11−11]=[13−13]12[11−11]=[2112]
6.3 对称矩阵和正定矩阵
对称矩阵：满足 A=AT。
性质：
- 所有特征值都是实数。
- 可以对角化，并且存在正交矩阵 Q 使得 A=QΛQT，其中 Λ 是特征值的对角矩阵。
正定矩阵：对称矩阵 A 是正定的，如果对于所有非零向量 x，有 xTAx>0。
性质：
所有特征值都是正数。
示例：
矩阵 A=[3113] 是对称的。
计算特征值：
det(A−λI)=det[3−λ113−λ]=(3−λ)2−1=λ2−6λ+8=0
解得 λ1=2，λ2=4，都是正数，所以 A 是正定的。
第7章：奇异值分解（SVD）
7.1 SVD的介绍
SVD定义：任何 m×n 矩阵 A 都可以分解为 A=UΣVT，其中：
- U 是 m×m 正交矩阵。
- Σ 是 m×n 对角矩阵，对角线上的元素 σ1≥σ2≥⋯≥σr>0 是奇异值。
- V 是 n×n 正交矩阵。
几何意义：
- U 和 V 分别表示在域空间和值域空间中的旋转或反射。
- Σ 表示在主方向上的缩放。
示例：
设 A=[100010]。
则：
U=⎡⎢⎣100010001⎤⎥⎦，Σ=[100010]，V=[1001]
显然，A=UΣVT。
7.2 SVD的应用
- 主成分分析（PCA）：通过SVD可以降维数据，提取最重要的特征方向。
- 图像压缩：通过保留前几个奇异值，可以近似原矩阵，达到压缩的效果。
- 推荐系统：利用SVD可以发现用户和物品之间的潜在关系。
示例（PCA）：
假设有一组二维数据点 {x1,x2,⋯,xn}，我们希望将其降维到一维。
- 计算数据点的均值 μ=1n∑ni=1xi。
- 计算协方差矩阵 C=1n−1∑ni=1(xi−μ)(xi−μ)T。
- 对 C 进行SVD分解，得到主成分方向（即 V 矩阵的第一列）。
- 将数据投影到主成分方向上，得到降维后的数据。
第8章：线性变换
8.1 线性变换的定义
线性变换 T:V→W 满足：
- T(u+v)=T(u)+T(v)。
- T(cv)=cT(v)。
示例：
旋转变换 R:R2→R2，旋转角度为 θ，定义为：
R([xy])=[cosθsinθ−sinθcosθ][xy]
验证线性性：
- R(u+v)=R(u)+R(v)。
- R(cv)=cR(v)。
8.2 线性变换的矩阵表示
矩阵表示：选取 V 和 W 的基后，线性变换可以用矩阵表示。
示例：
考虑线性变换 T:R2→R2，定义为 T([xy])=[2x+yx+3y]。
选用标准基 {[10],[01]}，则：
T([10])=[21]，T([01])=[13]
所以，T 的矩阵表示是：
A=[2113]
8.3 寻找合适的基
选择合适的基：选择合适的基可以简化线性变换的矩阵表示，例如对角化。
示例：
考虑对称矩阵 A=[2112]。
我们已经知道其特征向量是 [1−1] 和 [11]，特征值分别是 1 和 3。
如果选择这组特征向量作为基，则 A 在这个基下的矩阵表示是：
D=[1003]
这样，线性变换的表示更加简洁。
第9章：复向量和矩阵
9.1 复数
复数表示：复数表示为 a+bi，其中 i2=−1。
复数运算：加法、乘法和共轭运算。
示例：
设 z1=1+2i，z2=3−i，则：
- z1+z2=(1+3)+(2−1)i=4+i
- z1z2=(1)(3)+(1)(−i)+(2i)(3)+(2i)(−i)=3−i+6i−2i2=3+5i+2=5+5i
- ¯¯¯¯¯z1=1−2i
9.2 厄米特矩阵和酉矩阵
- 厄米特矩阵：满足 A=AH，其中 AH 是共轭转置。
- 酉矩阵：满足 AHA=I。
示例：
设 A=[1−ii1]，计算 AH：
AH=[1i−i1]
验证 A 是否为厄米特矩阵：
AH=A，所以 A 是厄米特矩阵
9.3 快速傅里叶变换（FFT）
DFT公式：对于长度为 n 的复数序列 x0,x1,⋯,xn−1，其DFT为：
Xk=∑n−1j=0xje−2πijkn,k=0,1,⋯,n−1
应用：
信号处理、图像处理、音频处理等领域。
示例：
计算长度为 4 的序列 x=[1,2,3,4] 的DFT：
- X0=1+2+3+4=10
- X1=1+2e−2πi4+3e−4πi4+4e−6πi4=1+2e−iπ2+3e−iπ+4e−3iπ2=1+2(0−i)+3(−1)+4(0+i)=1−2i−3+4i=−2+2i
- X2=1+2e−4πi4+3e−8πi4+4e−12πi4=1+2e−iπ+3e−2iπ+4e−3iπ=1+2(−1)+3(1)+4(−1)=1−2+3−4=−2
- X3=1+2e−6πi4+3e−12πi4+4e−18πi4=1+2e−3iπ2+3e−3iπ+4e−9iπ2=1+2(0+i)+3(−1)+4(0−i)=1+2i−3−4i=−2−2i
所以，DFT结果是 X=[10,−2+2i,−2,−2−2i]。
第10章：线性代数的应用
10.1 图和网络
邻接矩阵：描述图中节点之间的连接关系。
应用：通过矩阵运算分析图的结构，如节点的度、路径长度等。
示例：
设邻接矩阵A=⎡⎢⎣011101110⎤⎥⎦
计算A2：
A2=⎡⎢⎣011101110⎤⎥⎦⎡⎢⎣011101110⎤⎥⎦=⎡⎢⎣211121112⎤⎥⎦
(A2)ij表示从节点i到节点j的长度为2的路径数，例如(A2)12=1表示从节点1到节点2有1条长度为2的路径。
10.2 工程中的矩阵
有限元方法：在结构工程中，刚度矩阵用于模拟结构的行为。
示例：
设刚度矩阵K=[k−k−kk]
求解系统的位移时，需要求解方程Ku=f，其中f是力向量。
10.3 马尔可夫矩阵
马尔可夫矩阵：每个元素表示状态转移的概率，每一行的和为1。
应用：建模随机过程，如人口迁移、网页排名等。
示例：
设马尔可夫矩阵P=[0.70.30.40.6]
稳态概率π满足πP=π且π1+π2=1。
解方程：
{0.7π1+0.4π2=π10.3π1+0.6π2=π2
结合π1+π2=1，解得：π1=47，π2=37
10.4 线性规划
线性规划问题：最小化或最大化线性目标函数cTx，在满足线性约束Ax≤b和x≥0的条件下。
应用：资源分配、生产计划、成本最小化等。
示例：
最大化z=3x1+2x2
约束条件：
⎧⎨⎩x1+x2≤42x1+x2≤5x1,x2≥0
通过图解法或单纯形法求解，找到可行区域的顶点，计算目标函数值，得到最优解。
10.5 傅里叶级数
傅里叶级数：将周期函数表示为正弦和余弦函数的线性组合。
公式：
f(x)=a02+∑∞n=1(ancos(nx)+bnsin(nx))
其中：
an=1π∫π−πf(x)cos(nx)dx，bn=1π∫π−πf(x)sin(nx)dx
示例：
计算方波函数的傅里叶级数。设f(x)是周期为2π的方波函数，定义为：
f(x)={1,0<x<π−1,−π<x<0
计算an和bn：
an=0，bn={4nπ,n 奇数0,n 偶数
所以，傅里叶级数为：
f(x)=4π(sin(x)+13sin(3x)+15sin(5x)+⋯)
10.6 计算机图形学
变换矩阵：用于表示图形的平移、旋转、缩放等变换。
示例：
二维旋转矩阵：
R(θ)=[cosθ−sinθsinθcosθ]
平移矩阵：
T(a,b)=⎡⎢⎣10a01b001⎤⎥⎦
10.7 密码学
希尔密码：使用矩阵进行文本的加密和解密。
示例：
设加密矩阵E=[1234]
将文本 "HI" 转换为数字对[7,8]。
加密：
[1234][78]=[2353]
取模26：
[23mod2653mod26]=[231]
对应字母 "XD"。
解密需要E的逆矩阵。计算E−1：
det(E)=1×4−2×3=−2
E−1=−12[4−3−21]=[−21.51−0.5]
在模26下，需要找到整数逆元。这里简化示例，实际应用会选择更合适的矩阵。
第11章：数值线性代数
11.1 高斯消元法的数值稳定性
问题：在计算机实现高斯消元法时，由于舍入误差，可能会导致结果不准确。
解决方案：
- 主元选择：选择最大的元素作为主元，减少舍入误差。
- 部分主元法：只在列内交换行。
- 完全主元法：在整个矩阵中选择最大的元素作为主元。
示例：
考虑病态矩阵A=[1223.0001]，求解Ax=[35.0001]。
通过主元选择，可以改善数值稳定性。
11.2 范数和条件数
- 范数：衡量向量或矩阵的“大小”。
- 条件数：衡量矩阵求逆或线性方程组求解对数据误差的敏感度。
公式：
κ(A)=∥A∥⋅∥A−1∥
示例：
计算矩阵A=[100ϵ]的条件数，其中ϵ很小。
∥A∥2=1，∥A−1∥2=1ϵ
所以，κ(A)=1ϵ，当ϵ很小时，条件数很大，矩阵是病态的。
11.3 迭代方法
- 共轭梯度法：用于求解对称正定矩阵的线性方程组。
- 幂迭代法：用于求解矩阵的主特征值和特征向量。
示例（共轭梯度法）：
考虑求解Ax=b，其中A=[2−1−12]，b=[11]。
初始猜测x0=[00]，计算残差r0=b−Ax0=b。
设p0=r0。
计算α0=rT0r0pT0Ap0=1。
更新x1=x0+α0p0=[11]。
计算新的残差r1=r0−α0Ap0=[00]。
因为残差为零，停止迭代，解为x=[11]。
第12章：线性代数在概率和统计中的应用
12.1 基本概念
均值、方差、协方差：使用向量和矩阵表示数据集的统计量。
示例：
设数据集{x1,x2}，其中x1=[12]，x2=[34]。
均值：
μ=12(x1+x2)=[23]
协方差矩阵：
C=[2222]
12.2 多元高斯分布
高斯分布的矩阵形式：
f(x)=1(2π)n/2|Σ|1/2exp(−12(x−μ)TΣ−1(x−μ))
示例：
设x=[x1x2]，μ=[00]，Σ=[1001]，则：
f(x)=12πexp(−12(x21+x22))
12.3 最小二乘法
数据拟合：使用最小二乘法在给定数据集上拟合线性模型。
公式：
w=(XTX)−1XTy
示例：
给定数据集{(x1,y1),(x2,y2)}，其中x1=[12]，y1=3，x2=[34]，y2=5。
设计矩阵：
X=[1324]，y=[35]
计算：
XTX=[10141420]，XTy=[1826]
解方程(XTX)w=XTy：
[10141420][w1w2]=[1826]
可以使用高斯消元法或矩阵求逆求解w。
【推荐】国内首个AI IDE，深度理解中文开发场景，立即下载体验Trae
【推荐】编程新体验，更懂你的AI，立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包，你的智能百科全书，全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell：AI 加持，快人一步