矩阵学习笔记

矩阵乘法

为什么学？

xtx逼的！

能够套快速幂来加速递推（确信）。

---

基本性质

矩阵乘法的基本性质有：

1. 乘法结合律：$(AB)C=A(BC)$

2. 乘法左分配律：$(A+B)C=AC+BC$

3. 乘法右分配律：$C(A+B)=CA+CB$

4. 数乘结合性：$k(AB)=(kA)B=A(kB)$

5. 转置：$(AB)^T=B^TA^T$

---

交换律

咦？刚才是不是的基本性质把交换律打漏了？

并不是，这里是要来解释为什么矩阵乘法不满足交换律的。

交换律的不可行，我们可以轻松地用矩阵乘法的定义证明。

矩阵乘法要求左矩阵的列数与右矩阵的行数相同。

如矩阵 $A$ 为$a \times p$的矩阵，矩阵 $B$ 为 $p \times b$的矩阵，那么两个矩阵可以相乘，得到 $a \times b$ 的矩阵 $AB$ 。

如果将两个矩阵倒过来，就可能不满足矩阵乘法的要求。

故矩阵乘法不满足交换律，即：

$$AB \neq BA$$

既然聊到了 $AB\ BA$ 的问题，就多插一句。

矩阵乘法有如下规则：

矩阵 $A$ 左乘矩阵 $B$ ，得到矩阵 $AB$ ；

矩阵 $A$ 右乘矩阵 $B$ ，得到矩阵 $BA$ 。

由此可见，矩阵乘法严格来说应该从右往左运算。

---

结合律

这里给出我关于矩阵乘法满足结合律的一种理解：

矩阵乘法结合律的表达式如下：

$$(AB)C=A(BC)$$

因为矩阵乘法是一种映射（或者说函数）。

就可以通过我们熟悉的函数的方式理解。

定义：

$$A \ast X=f(X)$$

$$B \ast X=g(X)$$

根据前文所述，矩阵乘法是从右往左运算的，则有

$$(AB)=f(B)$$

$$(BC)=g(C)$$

再回来看最开始结合律的式子：

$$(AB)C=A(BC)$$

可以通过刚才的定义进行变形：

$$f(g(C))=f(g(C))$$

等式成立，原式证毕。

---

分配律

有了刚才迈出的第一步，接下来的工作就方便多了。

定义：

$$C \ast X=h(X)$$

$$(A+B) \ast X=F(X)=f(X)+g(X)$$

可得：

$$F(h(X)))=f(h(X))+g(h(X))$$

根据先前的定义可得：

$$(A+B)C=AC+BC$$

乘法左分配律得证。

乘法右分配律呢？同理？

显然不行。因为刚才的 $(A+B)$ 是外层函数，现在却变成了参数。

能zhua吗？

没有巧方法，那我们就回到矩阵乘法的定义来解决吧。

求证：$C(A+B)=CA+CB$ .

设C为 $m \times n$ 的矩阵，A为 $n \times p$ 的矩阵，B为 $n \times p$ 的矩阵。

先看等号左边：

$$(A+B)_{i,j}=A_{i,j}+B_{i,j}$$

$$C(A+B)_{i,j}=\sum_{k=1}^n C_{i,k} \cdot (A+B)_{k,j}=\sum_{k=1}^n C_{i,k} \cdot (A_{k,j}+B_{k,j})$$

再看等号右边：

$$CA_{i,j}=\sum_{k=1}^n C_{i,k} \cdot A_{k,j}$$

$$CB_{i,j}=\sum_{k=1}^n C_{i,k} \cdot B_{k,j}$$

$$(CA+CB)_{i,j}=\sum_{k=1}^n C_{i,k} \cdot (A_{k,j}+B_{k,j})$$

$$∴C(A+B)=CA+CB$$

证毕。

---

转置

即得易见平凡，仿照上例显然。留作习题答案略，读者自证不难。

反之亦然同理，推论自然成立，略去过程QED，由上可知证毕。

---

运用

---

矩阵快速幂

加法满足结合律，于是就产生了龟速乘。

乘法满足结合律，于是就产生了快速幂。

我们已经知道，矩阵乘法是一种满足结合律的运算。

所以，矩阵也可以像快速幂一样，通过二进制拆分加速求幂。

矩阵快速幂的时间复杂度是 $\mathcal{O} (n^3 \log T)$ 的，n为状态矩阵大小，T为递推次数，可以用于加速递推。

你怎么可以这么口胡过去啊喂！

行，那咱们来正经的。

设状态矩阵为一个 $1*n$ 的矩阵，如：

$$\begin{bmatrix} a_1\\ a_2\\ \vdots\\ a_n \end{bmatrix}$$

可以将其看作一个n维向量。

$∵$ n个n维向量（相互线性无关）能作为一个n维线性空间的基；

并且线性空间是关于向量加法与标量乘法运算封闭的向量集合。

$∴$ 我们能够通过这个n维向量映射到一个新的n维线性空间来完成一次线性递推。

而进行映射的方式便是矩阵乘法。

前面证明过，矩阵乘法满足结合律，能够用快速幂优化至 $\mathcal{O} (n^3 \log T)$ ，这就是矩阵加速递推的原理。

也因为矩阵乘法满足结合律，只要我们可以进行变量加与向量乘的运算，就能通过将这些操作相乘得到最后需要的转移矩阵。

当我们需要进行变量加时，直接增减转移矩阵上对应位置的数字即可，它相当于原矩阵的每个值在新矩阵对应位置上的权值。

如最经典的斐波那契数列：

$$\begin{bmatrix} 1 & 1\\ 1 & 0\\ \end{bmatrix} \begin{bmatrix} Fib_{i-1}\\ Fib_{i-2} \end{bmatrix}= \begin{bmatrix} Fib_i\\ Fib_{i-1} \end{bmatrix}$$

当我们需要进行常数乘时，也是同样的道理。

如对于：$f_i=2f_{i-2}$ 有：

$$\begin{bmatrix} 0 & 2\\ 1 & 0 \end{bmatrix} \begin{bmatrix} f_{i-1}\\ f_{i-2} \end{bmatrix}= \begin{bmatrix} f_i\\ f_{i-1} \end{bmatrix}$$

假如我们需要把两种运算结合起来，如： $f_i=2f_{i-1}+3f_{i-2}$

则可以把几次变化的矩阵相乘得到转移矩阵：

$$\begin{bmatrix} 2 & 1\\ 1 & 0 \end{bmatrix} \begin{bmatrix} 1 & 0\\ 0 & 3 \end{bmatrix} \begin{bmatrix} f_{i-1}\\ f_{i-2} \end{bmatrix}= \begin{bmatrix} 2 & 3\\ 1 & 0 \end{bmatrix} \begin{bmatrix} f_{i-1}\\ f_{i-2} \end{bmatrix}= \begin{bmatrix} f_i\\ f_{i-1} \end{bmatrix}$$

这里只是展示把两种操作合成的过程，实际上我们可以通过观察系数更快地写出这个转移矩阵。

如果你的递推式还有常数加法运算呢？

把 $1$ 丢进初始的状态矩阵就好，之后与变量加流程相同，只不过这一位在状态矩阵中始终不变。

可见，矩阵乘法的初始状态矩阵就像一个背包，你需要在背包中准备好所有必需的原料，然后通过转移矩阵不停合成下一步所需的物品。

但是，背包太过沉重也会让你走得更慢。

注意到矩阵快速幂与快速幂时间复杂度的不同，实际上就是状态矩阵大小对矩阵乘法速度的影响。

立方级的增长使得我们不能忽视它的影响，能够通过状态矩阵其它部分得到的量就不应该被保存，防T。( 尽管我现在遇到最大的矩阵只有 $11*11$ )