线性代数学习笔记（十）

这一节讲两个相互独立的知识点，一个是马尔科夫矩阵，在概率分布上很有用处；一个是傅里叶级数的表示，将线代从有限维度拓展到函数空间中。

何为steady state

steady state是指（当参数或者幂次）趋于无穷时，方程趋于某个稳定的解。注意，在nxn方阵A有n个独立的特征向量的前提下：

• 微分方程的通解是u(t)=e^Atu(0)=Se^ΛtS^-1u(0)，变化的只有e^Λt，所以其steady state是：对角矩阵Λ每个元素（也就是A的所有特征值）都不大于0，这样eλt就会趋于0(λ<0)或者1(λ=0)
• 任意向量b都可拆分，b=c1*x1+c2*x2...，故，A^kb=c1*λ1^k*x1+c2*λ2^k*x2...，其steady state是：对于所有特征值，都有|λ|<=1

马尔科夫矩阵

马尔科夫矩阵是一个特殊的矩阵，满足两个条件（这两个条件意在表达一个概率分布，联系PageRank，每一列代表一个网站跳转到其他网站的概率）：

1. 每列之和=1
2. 所有元素>=0
   

同时，马尔科夫矩阵还会有几个结论：

• λ1=1，其余所有λ绝对值都小于1
• 给出一个向量u0，各元素之和=1，那么u1=Au0的各个元素之和还是1（意义是某个分布，经过A的n轮变换之后，还是一个分布；证明可以按照column picture想，Au0=u01a1+u02a2..，u01a1的和是u01，u02a2和是u02，...，且u0所有元素之和=1） 

为何会有λ1=1

我们看A-I的特征值，如果A的λ1=1，那么A-I就存在特征值λ1=0，A-I就是奇异的（因为(A-I)x=0x必有非零解）。注意A-I的特点，每一列之和都是零。有多种解法证明A-I奇异：

• Strang考虑(A-I)的left nullspace，(1,1,1)(A-I)'=0就可说明A-I是奇异的。
• 我的想法是，将A-I的前n-1行都加到最后一行，那么最后一行=0，不满秩，故A-I奇异。

当k趋于无穷，A^kb就约等于c1*λ1^k*x1=c1*x1，这就是最终的steady state.

无限维度

之前提及的向量都是有限维度的，这里考虑将向量拓展到无线维度上，这里有两个方法：

• 定义无限维度的向量：\( v=(v_1, v_2, v_3,...) \)
• 直接用函数来表示向量，例如： \( v=f(x)=sin(x) \)

无限维度的向量

从有限到无限维度碰到的第一个问题是：向量内积可能不收敛。例如，v=w=(1,1,1,...),vw就趋于无穷大，不能收敛（有限维度中不存在这个问题）。我们加一个条件：选入的向量长度必须收敛，这样这些向量构成了Hilbert space!

两个长度收敛的向量的内积依旧收敛（=各自模长之积*cos夹角）

直接用函数来表示向量

只需要带入连续的思想，一切都很自然。函数f与g的内积是它们乘积的积分，函数f的长度的平方是他的平方的积分，积分范围依 函数定义域∩自己的需要 而定。

这里带出一个重要的结论：cos 0x, sin x, cos x, sin 2x, cos 2x, ...，这一系列函数在函数空间中互相正交

傅里叶级数

任意一个函数能够表达成一组正交基的权重和，这就是傅里叶级数的表示：

在有限维度空间中，有：

\( v=a_1x_1+a_2x_2+...+a_nx_n \)

x是一组正交基，如果想要得到a1，只需要左乘x1的转置：

\( x_1^Tv=a_1x_1^Tx_1+0+...0 \)

由于正交性质，后面所有项都变成了0，很容易得到：

\( a1= x_1^Tv / x_1^Tx_1 \)

在函数空间也一样，例如傅里叶函数的系数：