[傅里叶变换及其应用学习笔记] 二十三. 线性时不变系统的基本定义
线性系统的基本定义
线性系统的基本定义
线性系统将输入与输出映射起来，输出满足叠加性原则（It's a mapping from inputs to outputs satisfies the principle of superposition）
下图为一个基本的线性系统
$L(v_1+v_2) = Lv_1+Lv_2$
$L(\alpha v) = \alpha Lv$
结合上面两个性质，有
$\displaystyle{ L\left( \sum_{i=1}^{n}\alpha_i v_i \right) = \sum_{i=1}^{n}\alpha_i Lv_i }$
线性系统的例子
例：线性系统的输入与输出呈正比例关系
$Lv = a v$
线性系统验证，主要是验证该例子是否满足线性系统的叠加性原则
$L(v_1+v_2) = a(v_1+v_2) = a v_1+a v_2 = Lv_1+Lv_2$
$L(\alpha v) = a(\alpha v) = \alpha av = \alpha Lv$
这个例子也是线性系统的唯一例子，所有线性系统都可以回归到这种正比例关系。
一般来说，线性系统就是乘积关系，这意思是说，你可以把它当作一个常数$a$乘以一个常数$v$，如果输入的不是常数$v$而是函数$v(t)$，那么常数$a$就变成函数$a(t)$，即
$Lv(t) = a(t)v(t)$
应用实例
1) 一个开关
$Lv(t) = \Pi_a(t)v(t)$
$\Pi_a$代表打开开关$a$时间后断开开关，这是一个乘法关系
2) 抽样
$Lv(t) = Ш_p(t)v(t)$
对输入函数$v(t)$进行抽样也是一个乘法关系
离散有限维线性系统
矩阵的乘法
对正比例关系进行扩展（一般化），进行比例运算后再把结果相加，也就是矩阵的乘法。可以按照下面的方式进行描述
$A$为$n \times m$矩阵，$v$是有$m$阶元素，即有$m$行的列向量。
$A=(a_{ij}) \qquad v = {v_j}$
他们进行矩阵乘法后得到一个含有$n$行的列向量，其中第$i$行的元素为
$(Av)_i = \displaystyle{ \sum_{j=i}^{m} a_{ij}v_{j} }$
另外，毫无疑问，矩阵的乘法也符合叠加性原则，此处略去验证步骤
特殊的离散有限维线性系统
既然我们可以用矩阵乘法来表示离散有限维线性系统，那么一些特殊的线性系统，它的特殊性就是来自于代表该线性系统的矩阵$A$的特殊性
例如：
矩阵$A$为$N \times N$的矩阵，如果$A$是对称的，即
$A^{T} = A$
如果$A$是复数的情况下（厄米共轭），即
$A^{*} = A$
如果$A$为酉矩阵，即
$AA^{T} = I \qquad AA^{*} = I$
具有特征向量的线性系统矩阵
要去理解线性系统，一个非常重要的方法就是去理解该线性系统矩阵$A$的特征值和特征向量，这也是傅里叶变换引入的地方。
并非所有的矩阵都有特征值与特征向量，矩阵必须满足某些条件。关于特征值与特征向量，有如下定义
如果有$Av = \lambda v \ ,\ v\neq 0$，那么$v$就是矩阵$A$的特征向量，$\lambda$就是相应的特征值。
如果线性系统的矩阵$A$满足了这个条件，那么表明整体的输入与整体的输出成正比关系。
如果对于某个线性系统矩阵$A$，有特征向量$v_1,v_2,…,v_n$，他们相应的特征值为$\lambda_1,\lambda_2,…,\lambda_n$，这些特征向量就形成了对于所有输入的一组基。这句话的意思是：对于任意的输入$v$都能用下式来表达
$v = \displaystyle{ \sum_{i=1}^{n}\alpha_iv_i }$
那么，线性系统矩阵$A$对任意输入$v$的作用就可以表达为
$Av = \displaystyle{ \sum_{i=1}^{n}A(\alpha_iv_i) = \sum_{i=1}^n\alpha_i(Av_i) = \sum_{i=1}^n \alpha_i\lambda_iv_i }$
那么现在的问题是，线性系统在什么时候才会有一组特征向量基呢？
在线性代数中，有限维中的矩阵普定理（spectral theorem）说明了：如果$A$在复数情况下是一个厄米算符（Hermitian operator）或者实数情况下是对称算子，那么它就会有一组特征向量正交基。
（Spectral theorem says if A is symmetric or, in the complex case, Hermitian, then you can find an orthonormal basis of eigen vectors.）
- 矩阵乘法不仅仅是有限维线性系统的一个好例子，它还是唯一的例子，也就是说在一个有限维度空间内的任何线性算符都可以被理解为矩阵乘法。
例子
有输入为小于等于$n$阶的多项式
$a_0+a_1x+a_2x^2+…+a_nx^n$
现在我们需要对该输入进行线性运算，线性算符为微分，即
$L = \frac{d}{dx}$
求解过程如下，
由于输入共有$n+1$项，所以把$L$当作一个$(n+1)\times(n+1)$的矩阵，我们需要求出$L$的这个矩阵具体是什么。
根据我们对微分的理解，可以写成如下等式
$L\cdot \begin{bmatrix}
a_0\\
a_1\\
a_2\\
\vdots\\
a_n
\end{bmatrix}
=
\begin{bmatrix}
a_1\\
2a_2\\
\vdots\\
na_n\\
0
\end{bmatrix}$
那么矩阵$L$为
$L=\begin{bmatrix}
0 &1 &0 & & &... &0 \\
0 &0 &2 &0 & &... &0 \\
0 &0 &0 &3 &0 &... &0 \\
0 &0 &0 &0 &4 &... &0 \\
\vdots &\vdots &\vdots &\vdots &\vdots &... &\vdots \\
0 &0 &0 & & &... &n \\
0 &0 &0 &0 & &... &0
\end{bmatrix}$
连续无限维线性系统
核函数的积分
在无限连续的情况下，有一个与离散有限相类似的描述。
这里引入一个线性系统的例子，该例子对矩阵乘法进行了一般化，变成了对输入函数与核函数的积分。（The example that generalizes matrix multiplication is integration against a kernel）
在一般化后，输入从列向量变成了函数$v(x)$，而代表线性系统的线性算符从矩阵$L$变成了核函数$k(x,y)$，$k$有两个变量$x,y$，其运算过程为
$Lv(x) = \displaystyle{ \int_{-\infty}^{\infty}k(x,y)v(y)dy }$
其中积分为线性的，积分符合叠加性原则，即
$\begin{align*}
L(a_1v_1(x)+a_2v_2(x))
&=\int_{-\infty}^{\infty}k(x,y)\left(a_1v_1(y)+a_2v_2(y)\right)dy \\
&=a_1 \int_{-\infty}^{\infty}k(x,y)v_1(y)dy+a_2\int_{-\infty}^{\infty}k(x,y)v_2(y)dy\\
&=a_1Lv_1(x)+a_2Lv_2(x)
\end{align*}$
因此对输入函数与核函数的积分必然也是一个线性系统。
另外一种理解方式
我们也可以用另外一种方式去理解上述的积分线性系统。
- 把输入函数$v(y)$当作无限维度的列矩阵，$y$为下标
- 把核函数$k(x,y)$当作无限维度的线性系统矩阵，$x,y$分别为行、列下标
- $K(x,y)v(y)$代表了$k$的$k_{xy}$项与$v$的$v_y$项的乘积
- $\displaystyle{ \int_{-\infty}^{\infty}k(x,y)v(y)dy }$代表了$k$的第$x$行与整个$v$列矩阵的内积，最终会得到以$x$为下标的无限维度列矩阵$Lv(x)$
一些特殊的核函数
1) 在前面我们通过矩阵讨论了一些具有特殊性质的线性系统，比如说
① 线性系统矩阵$A$是对称的。② 线性系统$A$是厄米共轭对称的
$A^{T} = A \qquad A^{*} = A$
他们在核函数上的表现为
$k(x,y) = k(y,x) \qquad k(x,y) = \overline{k(y,x)}$
2) 在本课程中，最基本的线性系统的例子就是傅里叶变换
$\displaystyle{ \mathcal{F}f(s) = \int_{-\infty}^{\infty}e^{-2\pi ist}f(t)dt }$
其中核函数为$k(s,t) = e^{-2\pi ist}$，它也满足对称性。
3) 卷积的计算过程也是一个线性系统
卷积的公式如下
$\displaystyle{ h*v = \int_{-\infty}^{\infty}h(x-y)v(y)dy }$
以线性系统的角度来分析，即
$\displaystyle{ Lv = \int_{-\infty}^{\infty}h(x-y)v(y)dy }$
这里的核函数为$h(x-y)$，特殊的是该核函数并非基于单独的$x,y$，而是基于他们的差值$x-y$。
当我们令$x,y$同时移动$a$，即
$\begin{align*}
x\ &\rightarrow \ x-a \\
y\ &\rightarrow \ y-a \\
(x-y)\ &\rightarrow \ (x-a)-(y-a)=x-y
\end{align*}$
差值仍是原来的差值，这导致了卷积成为线性时（移）不变性系统（linear shift invariant or time invariant system）。
总结
- 对核函数积分不仅仅是连续无限维度线性系统的一个好例子，他还是唯一的例子，也就是说，任意在练习无限维度空间内的线性系统都能通过对核函数的积分来表示
这节课概念性的东西较多，但是大体可以分为三个方面
- 对线性系统有个概念性的了解，了解它的叠加性原则以及正比例关系
- 离散有限维线性系统都可以用矩阵的乘法进行表达
- 连续无限维线性系统都可以用核函数的积分进行表达
