数值分析与算法——读书笔记（三）

chapter3

线性方程组的直接解法

线性方程组（linear equation system）可写成如下形式：

⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪a11x1+a12x2+⋯+a1nxn=b1a21x1+a22x2+⋯+a2nxn=b2⋮am1x1+am2x2+⋯+amnxn=bm

若m>n，这种线性方程组称为超定方程组；若m<n，线性方程组一般有无穷多个解；当m=n时，记为Ax=b，其中A是一个n×n的矩阵，称为系数矩阵（coefficient matrix）；x为n维向量，称为解向量；b为n维向量，称为右端向量或右端项（right-hand side）。在后续讨论中，我们仅考虑m=n的情况，并且假设矩阵A为实数矩阵、b为实数向量。

3.1基本概念与问题的敏感性

1. 线性代数中的有关概念

2. 向量范数和矩阵范数

   对于实向量x=[x1,x2,⋯,xn]T，给出常用的几种范数：

   1. 1-范数：∥x∥1=∑ni=1|xi|
   2. 2-范数：∥x∥2=(∑ni=1|xi|2)12=(xTx)12
   3. ∞-范数：∥x∥∞=max1≤i≤n|xi|

   定理：Rn上的任一一种向量范数∥x∥都是关于x分量x1,x2,⋯,xn的连续函数

   定理：设∥x∥s和∥x∥t为Rn上的任意两种向量范数，则存在常数c1,c2>0，使得对一切x∈Rn有
   

   c1∥x∥s≤∥x∥t≤c2∥x∥s
   
   定义：设x∈Rn，A∈Rn×n，对某种给定的向量范数∥x∥v，矩阵的算子范数为
   
   ∥A∥v=maxx≠0∥Ax∥v∥x∥v
   
   对应于向量的1-范数、2-范数和∞-范数，矩阵A=(aij∈Rn×n的算子范数分别为：
   1. 1-范数：∥A∥1=max1≤j≤n∑ni=1∣∣aij∣∣​
   2. 2-范数：∥A∥2=λmax(ATA)−−−−−−−−−√,其中λmax(⋅)表示取矩阵最大特征值的函数
   3. ∞-范数：∥A∥∞=max1≤i≤n∑nj=1∣∣aij∣∣

3. 问题的敏感性和矩阵条件数

   定义：设A为非奇异矩阵，称cond(A)v=∥A∥v∥∥A−1∥∥v为矩阵的条件数，其中下标v用于标识某种矩阵的算子范数

   如果系数矩阵的条件数很大，称之为病态矩阵，对应的线性方程组求解问题是敏感（病态）问题；如果系数矩阵的条件数很小，称之为良态矩阵，相应的线性方程组求解问题不太敏感。

3.2 高斯消元法

求解线性方程组的高斯消去过程

1. 输入：A，n，b；输出：A，b。

2. For k=1,2,⋯,n−1

   ​ If akk=0 then 停止

   ​ For i=k+1,k+2,⋯,n

   ​ c:=−aik/akk;

   ​ For j=k+1,k+2,⋯,n

   ​ aij:=aij+cakj;

   ​ End

   ​ bi:=bi+cbk;

   ​ End

   End

时间复杂度：O(n3)