高斯消元学习笔记

合集 - 学习笔记(36)

1.笛卡尔树学习笔记2024-03-072.基环树学习笔记2024-03-073.后缀数组学习笔记2024-03-074.虚树学习笔记2024-03-075.网络流学习笔记2024-03-076.线性基学习笔记2024-03-077.拉格朗日插值学习笔记2024-04-208.杜教筛学习笔记2024-04-139.数论分块学习笔记2024-04-0210.莫比乌斯反演学习笔记2024-04-0211.广义后缀自动机学习笔记2024-03-2012.后缀自动机学习笔记2024-03-1613.回文自动机学习笔记2024-03-1214.Manacher 学习笔记2024-03-0915.LCT 学习笔记2024-10-3116.Min_25 筛学习笔记2024-08-3017.Min-Max 容斥学习笔记2024-08-0118.位运算卷积学习笔记2024-07-3019.斯特林数学习笔记2024-07-1120.下降幂学习笔记2024-07-0921.普通生成函数学习笔记2024-07-0622.二项式反演学习笔记2024-07-0523.FFT 学习笔记2024-07-0224.原根学习笔记2024-07-0225.替罪羊树学习笔记2024-06-0826.矩阵树定理学习笔记2024-05-29

27.高斯消元学习笔记2024-05-26

28.LGV 引理学习笔记2024-05-2629.K-D tree 学习笔记2024-05-2330.线段树综合2024-05-0931.2-sat 学习笔记2024-12-1132.凸包学习笔记2024-12-1033.插头 dp 学习笔记2024-12-0134.整体二分学习笔记2024-12-1835.《具体数学》阅读笔记2024-12-3036.辛普森积分学习笔记01-23

收起

高斯消元学习笔记

其实这个主题能够复活主要还是粘了 $\text{LGV}$ 引理的光，不然我还不知道高斯消元其实不光能求解线性方程组。

求解线性方程组

这个只能说是典中典了，我不相信没有一个人的高斯消元不是从这里开始的。

我们考虑求解线性方程组的本质：将每一个式子所有未知数前都有系数转化成每一个式子只有一个未知数前有系数。那么我们不妨用矩阵来表示这样的关系。

对于线性方程组

$$\{\begin{array}{c}{a}_{1,1}{x}_1+a_{1,2}{x}_2+\cdots +a_{1,n}{x}_n=b_1\\ a_{2,1}{x}_1+a_{2,2}{x}_2+\cdots +a_{2,n}{x}_n=b_2\\ ⋮\\ a_{n,1}{x}_1+a_{n,2}{x}_2+\cdots +a_{n,n}{x}_n=b_n\end{array}$$

我们将其写成

$$\left[\begin{array}{ccccc}{a}_{1,1}& a_{1,2}& \cdots & a_{1,n}& b_1\\ a_{2,1}& a_{2,2}& \cdots & a_{2,n}& b_2\\ ⋮& ⋮& \ddots & ⋮& ⋮\\ a_{n,1}& a_{2,n}& \cdots & a_{n,n}& b_n\end{array}\right]$$

的形式，接着我们考虑消元，为了让整个矩阵最后呈现出

$$\left[\begin{array}{ccccc}1& 0& \cdots & 0& b_1\\ 0& 1& \cdots & 0& b_2\\ ⋮& ⋮& \ddots & ⋮& ⋮\\ 0& 0& \cdots & 1& b_n\end{array}\right]$$

的形式，我们需要：

1. 对于枚举到的每一行，将当前行对应的未知数前的系数变为 $1$。
2. 将其他行对应此时的未知数前的系数变为 $0$。

最后从下往上，将每个未知数的值回代，求出每个未知数的解。

对于无解或无穷解的判断，主要在于全 $0$ 行。如果出现 $\left[\begin{array}{ccccc}0& 0& \cdots & 0& 0\end{array}\right]$ 的行，那么说明有一个未知数可以取任意实数，因此有无穷解。如果出现 $\left[\begin{array}{ccccc}0& 0& \cdots & 0& b\end{array}\right]$ 且 $b\ne 0$，那么说明 $0\ne 0$，那么此时整个方程组无解。复杂度是标准 $O(n^3)$ 的。

代码

int gauss(){
	int c,r;
	for(c=1,r=1;c<=n;c++){
		int t=r;
		for(int i=r;i<=n;i++){
			if(fabs(a[i][c])>fabs(a[t][c]))t=i;
		}
		if(fabs(a[t][c])<eps)continue;
		for(int i=c;i<=n+1;i++)swap(a[t][i],a[r][i]);
		for(int i=n+1;i>=c;i--)a[r][i]/=a[r][c];
		for(int i=r+1;i<=n;i++){
			if(fabs(a[i][c])>eps){
				for(int j=n+1;j>=c;j--)a[i][j]-=a[r][j]*a[i][c];
			}
		}
		r++;//消元
	}
	if(r<=n){
		for(int i=r;i<=n;i++){
			if(fabs(a[i][n+1])>eps)return 2;//方程无解
		}
		return 1;//方程有无穷多组解
	}
	for(int i=n;i>=1;i--){
		for(int j=i+1;j<=n;j++)a[i][n+1]-=a[i][j]*a[j][n+1];
	} 
	return 0;//方程有唯一解
}

求解矩阵逆元

学过矩阵快速幂的都知道，矩阵的单位元 $I$ 形如：

$$\left[\begin{array}{cccc}1& 0& \cdots & 0\\ 0& 1& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & 1\end{array}\right]$$

参考整数逆元的定义：如果 $a{a}^{-1}\equiv 1(\mathrm{mod}p)$，则称 $a^{-1}$ 是 $a$ 在模 $p$ 意义下的逆元，更一般的，如果没有模 $p$，那么 $a^{-1}=\frac{1}{a}$。

那么对于一个矩阵 $A$，是否存在它的逆元 $A^{-1}$，使得 $A{A}^{-1}\equiv I(\mathrm{mod}p)$ 或是 $A{A}^{-1}=I$ 呢？答案是肯定的，但是矩阵的逆显然没有整数那么好求，于是我们考虑这样一个矩阵：

$$A|I=\left[\begin{array}{cccccccc}{a}_{1,1}& a_{1,2}& \cdots & a_{1,n}& 1& 0& \cdots & 0\\ a_{2,1}& a_{2,2}& \cdots & a_{2,n}& 0& 1& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮& ⋮& ⋮& \ddots & ⋮\\ a_{n,1}& a_{n,2}& \cdots & a_{n,n}& 0& 0& \cdots & 1\end{array}\right]$$

那么我们对左边的 $A$ 进行消元，本质上就是将其变为单位元 $I$，也就是除以 $A$，那么矩阵将会变成 $I|A^{-1}$，此时右边的部分就是我们需要求的逆元了。

但是和整数逆元一样，矩阵在有些时候也没有逆元，比如不能成功除以 $A$ 的时候，也就是消元失败的时候，当且仅当 $\mathrm{\exists }i,a_{i,i}=0$，此时除数为 $0$，消元自然失败。因为和高斯消元的思路一致，复杂度是标准 $O(n^3)$ 的。

我们可以考虑矩阵求逆和求解线性方程组的关系，不难发现，如果令

$$A=\left[\begin{array}{cccc}{a}_{1,1}& a_{1,2}& \cdots & a_{1,n}\\ a_{2,1}& a_{2,2}& \cdots & a_{2,n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n,1}& a_{n,2}& \cdots & a_{n,n}\end{array}\right],B=\left[\begin{array}{c}{b}_1\\ b_2\\ ⋮\\ b_n\end{array}\right],X=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]$$

那么有 $AX=B$，即 $X=A^{-1}B$。由此我们发现，利用矩阵逆元我们也能求解出有解方程的正确解，但当矩阵没有逆元时，我们不能具体判断是无解还是有无穷多组解。

代码

int gauss(){
    for(int i=1;i<=n;i++){
        for(int j=i;j<=n;j++){
            if(fabs(A[j][i])<=eps)continue;
            for(int k=i;k<=(n<<1);k++)swap(A[i][k],A[j][k]);
            break;
        }
        if(fabs(A[i][i])<=eps)return 1;
        for(int j=(n<<1);j>=i;j--)A[i][j]/=A[i][i];
        for(int j=1;j<=n;j++){
            if(i==j)continue;
            for(int k=(n<<1);k>=i;k--)A[j][k]-=A[j][i]*A[i][k];
        }
        
    }
    return 0;
}

求解行列式

对于一个矩阵 $A$ 的行列式，我们记为 $\text{det}(A)$ 或 $|A|$。对于行列式有如下定义：

对于矩阵

$$A=\left[\begin{array}{cccc}{a}_{1,1}& a_{1,2}& \cdots & a_{1,n}\\ a_{2,1}& a_{2,2}& \cdots & a_{2,n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n,1}& a_{2,n}& \cdots & a_{n,n}\end{array}\right]$$

有

$$|A|=\sum _p(-1{)}^{r(p)}\prod _{i=1}^n{a}_{i,p_i}$$

其中 $p$ 是 $1$ 到 $n$ 的排列，$r(p)$ 是排列 $p$ 中逆序对的个数。对于暴力搜索而言复杂度是 $O(n!n\log n)$ 的。而对于行列式又有以下几个容易证得的性质：

1. 如果矩阵 $A$ 是一个上三角矩阵，即 $\mathrm{\forall }i>j,a_{i,j}=0$，那么 $|A|=\prod _{i=1}^n{a}_{i,i}$。
2. 如果矩阵 $A$ 的某一行同时乘上一个常数 $k$ 得到矩阵 $A^{\prime }$，那么 $|A^{\prime }|=k|A|$。
3. 矩阵 $A$ 的行列式与矩阵 $A$ 的转置的行列式相等，即 $|A|=|A^T|$。
4. 如果矩阵 $A$ 的任意两行互换后得到矩阵 $A^{\prime }$，那么 $|A^{\prime }|=-|A|$。
5. 如果矩阵 $A$ 的其中一行加上另外一行得到矩阵 $A^{\prime }$，那么 $|A^{\prime }|=|A|$。

不难发现消元的过程符合性质 $2,4,5$，而消元后的矩阵符合性质 $1$，因此可以利用高斯消元求解。复杂度是 $O(n^3)$ 的。

我们可以考虑行列式和求解线性方程组的关系，根据 $\text{Cramar}$ 法则可以得知：

给定一个 $n$ 元线性方程组，其未知数分别记作 $x_1,x_2,\cdots ,x_n$。

设其矩阵表示形式为 $AX=B$​，其中 $A$ 为该方程组的增广矩阵，$X$ 为由未知数组成的向量，$B$ 为由常数项组成的向量，$A_i$ 为 $A$ 中的第 $i$ 列被 $B$ 取代后的矩阵，若 $|A|\ne 0$，则 $x_i=\frac{|A_i|}{|A|}$；否则该方程组无解。

由此，我们看出求解线性方程组也可以通过这样的方式完成。但是复杂度要更差。

代码

double gauss(){
    double res=1;
    for(int i=1;i<=n;i++){
        for(int j=i;j<=n;j++){
            if(fabs(A[j][i])<=eps)continue;
            for(int k=i;k<=n;k++)swap(A[i][k],A[j][k]);
            if(i!=j)res=-res;
            break;
        }
        if(fabs(A[i][i])<=eps)return 0;
        for(int j=i+1;j<=n;j++){
            for(int k=n;k>=i;k--)A[j][k]-=A[j][i]/A[i][i]*A[i][k];
        }
    }
    for(int i=1;i<=n;i++)res*=A[i][i];
    return res;
}
//下面提供一种模数不为质数的写法
ll gauss(){
    ll res=1;
    for(int i=1;i<=n;i++){
        for(int j=i+1;j<=n;j++){
            while(a[j][i]){
                ll div=a[i][i]/a[j][i];
                for(int k=i;k<=n;k++)a[i][k]=(a[i][k]-div*a[j][k])%P;
                for(int k=i;k<=n;k++)swap(a[i][k],a[j][k]);
                res=-res;
            }
        }
    }
    for(int i=1;i<=n;i++)res=res*a[i][i]%P;
    return res;
}