线性代数学习笔记

本文含有较多公式，请耐心等待渲染。

一、向量

定义

有大小、有方向的量称为向量，记为 $\overrightarrow{a}$ 或 $\boldsymbol a$，向量可以任意平移。向量以有向线段的方式表示，有向线段有三要素：起点，方向，长度。

有向线段 $\overrightarrow{AB}$ 的长度称为它的模长，记为 $|\overrightarrow{AB}|$。特别的，当模长为 $0$ 的时候，这个特殊向量称为零向量，零向量的方向是任意的，长度始终为 0。

若两个非零向量 $\boldsymbol a ,\boldsymbol b$ 方向相同或相反，称这两个向量平行，记作 $\boldsymbol a \parallel \boldsymbol b$。对于多个互相平行的向量，我们可以找到一条直线，使得所有向量都能移动到该直线上，所以平行又可以称为共线。

若已知两个向量 $\boldsymbol a,\boldsymbol b$，做 $\overrightarrow{OA}=\boldsymbol a,\overrightarrow{OB}=\boldsymbol b$，$\angle AOB$ 即为向量 $\boldsymbol a, \boldsymbol b$ 的夹角，记作 $\langle \boldsymbol a,\boldsymbol b\rangle$。特别的，当 $\langle \boldsymbol a,\boldsymbol b\rangle=0$ 的时候，两向量同向，当 $\langle \boldsymbol a,\boldsymbol b\rangle=\pi$ 的时候，两向量反向，当 $\langle \boldsymbol a,\boldsymbol b\rangle=\frac \pi2$ 的时候，两向量垂直。

计算

对于向量的加法，我们可以类比力的合成，使用三角形公式与平行四边形公式进行计算。

1. 平行四边形公式，即若两个向量起点相同，则以两个向量为两边，做出一个平行四边形，他们的和的起点为两个向量的公共起点，终点为平行四边形内不与这两个向量相邻的端点。
2. 三角形公式，即对于两个首尾相接的向量，做出一个以两个向量为两边的三角形，它们的和即为第三边。

对于向量的减法，可以类比数的减法，即 $\boldsymbol a - \boldsymbol b = \boldsymbol a + (-\boldsymbol b)$。

二、线性代数简介

“线性”的来由

由于一次函数 $y=kx$ 的函数图像是一条直线，故一次函数又称为线性函数。推广一下，所有类似这种 $kx$ 乘法的变换都被称为线性变换。

域

简单来说，域是带有符合运算律的加减乘除运算的集合。要求有 $0,1$，倒数、相反数存在，加、乘满足交换律、结合律、分配律。如有理数域 $\mathbb{Q}$，实数域 $\mathbb{R}$。

域的判定

对于一个集合 $F$ 和上述运算 $+$，$\times$，若 $(F,+,\times)$ 满足以下条件，则称其为一个域。

1. 满足交换律，即 $\forall x,y\in F,x+y=y+x,x\times y = y \times x$。
2. 满足结合律，即 $\forall x,y,z\in F,x+y+z=x+(y+z),x\times y\times z = x \times (y\times z)$。
3. 满足分配律，即 $\forall x,y,z\in F,(x+y)\times z = x \times z + y \times z$。
4. 有加法、乘法逆元，即 $\forall x\in F,\exists (-x) \in F, x + (-x) = 0$，$\forall x\in F,\exists (x^{-1}),x\times (x^{-1}) = 1$。
5. 有单位元，即 $\exists 0,1\in F,\forall x \in F, 0+x = x,1\times x = x$。

线性空间

一般的，一个线性空间 $V$ 基于一个域 $\mathbb{F}$ 定义，要求 $V$ 内有加法运算，且 $V$ 内的元素可以域 $\mathbb{F}$ 内的元素相乘，并且满足运算律。

如果 $V$ 内有加法，域 $\mathbb{F}$ 到 $V$ 有乘法，满足以下条件则称 $V$ 是 F-线性空间： $V$ 内的加法满足交换律和结合律，有“0”，有“$−x$” ，且满足结合律、交换律、分配律。

线性变换

顾名思义，线性变换指一个线性的一个空间到另一个空间的变换。

具体而言，应用这个变换应该有和乘以特定值类似的性质。

也就是上面线性空间的定义中，把乘法换成应用变换。

我们称一个变换 $f : V \to W$ 是线性的，其中 $V, W$ 都是 F-线性空间，当且仅当：

• $\forall a\in F,v \in V,af(v)=f(av)$；
• $\forall u,v\in F,f(u+v)=f(u)+f(v)$。

实际上，乘以一个数也是一个线性变换，平面上或者空间中的绕原点旋转是一个线性变换，针对单一分量的伸缩也是线性变换。

线性变换的复合

类似于函数的复合，我们定义线性变换的复合为先执行一个再执行另一个。容易验证，线性变换的复合结果仍然是线性变换。注意线性变换的复合不满足交换律，而且是从右往左执行。

描述线性变换

既然有了线性变换，我们自然会想要讨论如何用尽量少的信息来描述一个线性变换。

我们记单位向量 $e_i$ 的第 $i$ 维是 $1$，其他都是 $0$。

那么对于每个向量 $v=\begin{bmatrix}v_1 \\ v_2 \\ \vdots \\ v_m\end{bmatrix}$，就可以表示为 $v=\sum\limits_{i=1}^mv_ie_i$，那么，对于变换 $f$ 就有 $f(v) = \sum\limits_{i=1}^mv_if(e_i)$，这样，我们就用每个 $e_i$ 的变换结果描述了整个线性变换。

进一步，如果我们在结果线性空间上取单位向量 $f_j(1\le j\le n)$，那么我们就可以用 $n\times m$ 个数 $a_{i,j}$ 表示这个线性变换，即 $f(e_i)=\sum\limits_{j=1}^na_{i,j}f_j$，我们把所有 $a_{i,j}$ 写成 $n$ 行 $m$ 列，这就是线性变换对应的矩阵了。

三、矩阵

定义

将一些元素排列成若干行，每行放上相同数量的元素，就是一个矩阵。这里说的元素可以是数字，例如以下的矩阵：

$$A = \begin{bmatrix}1&1&4 \\ 5&1&4\end{bmatrix}$$

矩阵乘法

两个矩阵 $\boldsymbol A,\boldsymbol B$ 能够相乘，当且 $\boldsymbol A$ 的列数与 $\boldsymbol B$ 的行数相同。我们设 $\boldsymbol A$ 为 $m\times n$ 的矩阵，$\boldsymbol B$ 为 $n\times p$ 的矩阵，那么他们的矩阵 $\boldsymbol C=\boldsymbol A\boldsymbol B$ 是 $m\times p$ 的。

$\boldsymbol C$ 中的元素为：

$$\boldsymbol C_{i,j}=\sum\limits_{k=1}^n \boldsymbol A_{i,k}\times \boldsymbol B_{k,j}$$

这就是矩阵乘法的定义。

实现

我们在 OI 中一般使用 $O(n^3)$ 的算法，即暴力乘法。

for (int i = 1; i <= m; ++i) 
    for (int j = 1; j <= p; ++j) 
        for (int k = 1; k <= n; ++k) 
            c[i][j] += a[i][k] * b[k][j];

实际上，最优的复杂度为 $O(n^{2.373})$ 左右，但是由于常数很大，一般不这么使用。

矩阵乘法的性质

线性变换不满足交换律，矩阵乘法自然也不满足交换律。

不过，由于 $(AB)C$ 与 $A(BC)$ 的意义都是按照 $CBA$ 顺序执行线性变换，矩阵乘法是满足结合律的。

可以发现，矩阵乘列向量与矩阵乘一列的矩阵是一样的，因此列向量可以视为只有一列的矩阵。

单位矩阵

对于 $n\times m$ 的矩阵，它的单位矩阵大小为 $m\times m$，对于 $m\times n$ 的矩阵，它的单位矩阵大小为 $n\times n$。

也就是说单位矩阵都是正方形的，这是因为只有正方形的矩阵能保证结果和前一个矩阵形状相同。

对于一个单位矩阵 $\boldsymbol e$，他的定义为

$$\forall i\in[1,n],\boldsymbol e_{i,i}=1$$

矩阵快速幂

对于一个 $n\times n$ 的方阵 $\boldsymbol A$，求 $\boldsymbol A^k$。

矩阵快速幂与普通的快速幂几乎一样，稍微修改下代码即可通过。

struct M
{
    long long a[MAXN][MAXN] = {{0}, {0}};

    M operator*(M b)
    {
        M tmp;
        for (int i = 1; i <= n; ++i)
        {
            for (int j = 1; j <= n; ++j)
            {
                for (int k = 1; k <= n; ++k)
                {
                    tmp.a[i][j] = ((a[i][k] * b.a[k][j] % MOD) + tmp.a[i][j]) % MOD;
                }
            }
        }
        return tmp;
    }
} G;
M res;
void qp()
{

    for (int i = 1; i <= n; ++i)
    {
        res.a[i][i] = 1;
    }
    while (k)
    {
        if (k & 1)
            res = res * G;
        G = G * G;
        k >>= 1;
    }
}

四、矩阵加速递推

斐波那契数列

斐波那契数列 $f_n$ 满足 $f_n=f_{n-1}+f_{n-2}(n>2),f_1=f_2=1$。

我们发现这个递推式是线性的，因此可以使用线性变换描述。

具体的，我们将 $f_{n+1},f_n$ 写为一个矩阵，将 $f_n,f_{n-1}$ 写为一个矩阵。

$$\begin{bmatrix}f_{n+1} \\ f_n\end{bmatrix},\begin{bmatrix}f_n \\ f_{n-1}\end{bmatrix}$$

我们想要通过一个矩阵 $\boldsymbol P$，使得

$$\begin{bmatrix}f_{n+1} \\ f_n\end{bmatrix}=\boldsymbol P\begin{bmatrix}f_n \\ f_{n-1}\end{bmatrix} (1)$$

由于 $f_{n+1}=f_n+f_{n-1}$，所以说我们要让 $\boldsymbol P$ 的第一行都为 $1$。$f_n$ 在两个矩阵都出现了，所以直接令 $\boldsymbol P$ 的第 $2$ 行、第 $1$ 列为 $1$，第 $2$ 行、第 $2$ 列为 $0$ 即可，也就是说

$$\boldsymbol P = \begin{bmatrix}1 & 1 \\ 1 & 0\end{bmatrix}$$

将式子 $(1)$ 无限递归下去，得到我们要求的 $f_t$

$$\begin{bmatrix}f_{t+1} \\ f_t\end{bmatrix}=\begin{bmatrix}1 & 1 \\ 1 & 0\end{bmatrix}^t\begin{bmatrix}f_{1} \\ f_0\end{bmatrix}$$

从特殊到一般

考虑总结出一个通用的递推式。

给定一个线性的递推关系式 $f_n=\sum\limits_{i=1}^k w_if_{n-i}$，考虑求出这个式子的加速矩阵，其中 $w_i$ 是一个常量，代表权重。

那么，我们可以用以下这个式子来快速求出答案。

$$\begin{bmatrix} v_1&v_2&v_3&\cdots&v_k\\ 1 & 0 & 0 & \cdots & 0\\ 0 & 1 & 0 & \cdots & 0\\ \vdots & \vdots & \vdots & \ddots & \vdots\\ 0 & 0 & 0 & \cdots & 1 \end{bmatrix} \begin{bmatrix} a_{n + k - 1}\\ a_{n+k-2}\\ a_{n+k-3}\\ \vdots\\ a_n \end{bmatrix}= \begin{bmatrix} a_{n + k }\\ a_{n+k-1}\\ a_{n+k-2}\\ \vdots\\ a_{n+1} \end{bmatrix}$$