线性差分方程
线性差分方程介绍
线性微分方程是连续的，即变量t是连续的，需要求的是未知函数$y(t)$；线性差分方程是离散的，变量t的取值只能为整数，需要求的是未知序列$y_t$。
差分（difference），即相邻两个数据之间的差，也就是变化量，用$\Delta $来表示
$\Delta y_t = y_{t+1} – y_t$
$\Delta y_t$被定义为一阶差分，二阶差分定义如下
$\Delta^2 y_t = \Delta(\Delta y_t) = \Delta y_{t+1} – \Delta y_t = (y_{t+2} – y_{t+1}) – (y_{t+1} – y_t) = y_{t+2}-2y_{t+1} + y_t$
如此类推，n阶差分中包含的项为$y_t,y_{t+1},…,y_{t+n}$，最高与最低项的下标相差$n$。
线性差分方程类比到线性微分方程的式子，
$L[y_t] = \Delta^n y_t + A_1\Delta^{n-1}y_t +\cdot \cdot \cdot+ A_{n-1}\Delta y_t + A_ny_t$
式子当中的$\Delta t = 1$，因此省略了。把差分拆开后组合，得到
$L[y_t] = y_{t+n} + B_1y_{t+n-1}+ \cdot \cdot \cdot + B_{n-1} y_{t+1} + B_n y_t $
同样的，最高与最低项下标相差$n$。
二阶线性差分方程求解例子[1]
下面的例子可以当作二阶线性差分方程求解的范例，从这些例子可以一步步深入了解线性差分方程。
二阶齐次线性差分方程（2nd-order Homogeneous Linear Difference Equation）
设有线性方程如下
$u_n = u_{n-1}+u_{n-2}$
其中$u_0 = 1,u_1 = 1$，求$u_n$。
解：
把u_n相关项移到等号左边：
$u_n – u_{n-1} –u_{n-2} = 0$
此时，等式右边为0，表明该方程为齐次（Homogeneous）。
假设：
$u_n = A\omega ^n$
那么：
$A\omega ^n – A\omega ^{n-1} – A\omega^{n-2} = 0$
等式两边同时除去$A\omega^{n-2}$：
$\omega^2 - \omega - 1 = 0$
上面是一个一元二次方程，其两个根分别为：
$\omega_1 = \frac{1+\sqrt{5}}{2} \ ,\ \omega_2 = \frac{1-\sqrt{5}}{2}$
任意$A_1$代入$u_n = A_1\omega_1^n$，都满足$u_n-u_{n-1}-u_{n-2} = 0$。
任意$A_2$代入$u_n = A-2\omega_2^n$，都满足$u_n-u_{n-1}-u_{n-2} = 0$。
因此我们这里得到一个通解：
$\color{red}{u_n = A_1\omega_1^n + A_2 \omega_2^n}$
把这个通解代入到$u_n-u_{n-1}-u_{n-2}$看是否得到0：
$(A_1\omega_1^n + A_2 \omega_2^n) – (A_1\omega_1^{n-1} + A_2 \omega_2^{n-1}) – (A_1\omega_1^{n-2} + A_2 \omega_2^{n-2}$
整理后，得到：
$A_1\omega_1^{n-2}(\omega_1^2-\omega_1-1) + A_2\omega_2^{n-2}(\omega_2^2 – \omega - 1)$
因为括号内的部分等于0，所以式子等于0。
把$\omega_1,\omega_2$的值代入通解，得到：
$u_2 = A_1\left( \frac{1+\sqrt{5}}{2} \right)^n + A_2\left( \frac{1-\sqrt{5}}{2} \right)^n$
在忽略初始条件的时候我们得到上述通解，下面我们结合初始条件来求$A_1,A_2$的值…
$\left\{\begin{matrix}
u_0 = & A_1 + A_2 & = 1 \\
u_1 = & \frac{A_1(1+\sqrt{5}) + A_2(1-\sqrt{5})}{2} & = 1
\end{matrix}\right.$
解得：
$\left\{\begin{matrix}
A_1 &=& \frac{1+\sqrt{5}}{2\sqrt{5}} \\
A_2 &=& -\frac{1-\sqrt{5}}{2\sqrt{5}}
\end{matrix}\right.$
把$A_1,A_2$代入通解，得：
$u_n = \frac{1+\sqrt{5}}{2\sqrt{5}}\left( \frac{1+\sqrt{5}}{2} \right)^n - \frac{1-\sqrt{5}}{2\sqrt{5}}\left( \frac{1-\sqrt{5}}{2} \right)^n$
整理得到最终结果：
$u_n = \frac{1}{\sqrt{5}}\left[ \left( \frac{1+\sqrt{5}}{2} \right)^{n+1} - \left( \frac{1-\sqrt{5}}{2} \right)^{n+1}\right]$
二阶齐次线性差分方程II
设有线性方程如下
$u_n = pu_{n+1} + qu_{n-1}$
初始值为$u_0 = 0, u_l = 1$，并且$p+q = 1$，求$u_n$
解：
把所有$u_n$相关项转移到等号左边：
$pu_{n+1} – u_n + qu_{n-1} = 0$
假设：
$u_n = A\omega^n$
得到：
$pA\omega^{n+1} – A\omega^n + qA\omega^{n-1} = 0$
$p\omega^2 – \omega + q = 0$
$p\omega^2 – (p+q)\omega + q = 0$
$(\omega-1)(p\omega -q) = 0$
解得两个根为：
$\omega_1 = 1 \ , \ \omega_2 = \frac{q}{p}$
得到通解：
$\color{red}{u_n = A_1(1)^n + A_2 \left( \frac{q}{p} \right)^n}$
代入$pu_{n+1}-u_n+qu_{n-1}$检查该通解是否等于0：
$\left[pA_1(1)^{n+1}+pA_2\left(\frac{q}{p} \right )^{n+1} \right ]-\left[pA_1(1)^{n}+pA_2\left(\frac{q}{p} \right )^{n} \right ]+\left[pA_1(1)^{n-1}+pA_2\left(\frac{q}{p} \right )^{n-1} \right ]$
整理得到：
$A_1[p-1+q]+A_2\left(\frac{q}{p} \right )^{n-1}\left[p\left(\frac{q}{p} \right )^2-\frac{q}{p}+q \right ]$
由于$p +q = 1$，因此上面的式子等于：
$0 + A_2\left(\frac{q}{p} \right )^{n-1}\left[ \frac{q^2}{p} - \frac{q}{p} + q \right]
=A_2\left(\frac{q}{p} \right )^{n-1}\left[ \frac{q}{p}(q-1)+q \right ]
=A_2\left(\frac{q}{p} \right )^{n-1}\left[\frac{q}{p}(-p)+q \right ] =0$
上面已经得到了通解，下面通过初始条件求$A_1,A_2$的值…
当$q\neq p$时：
$\left\{\begin{matrix}
u_0 &= &A_1+A_2 &=0 \\
u_l &= &A_1+A_2\left(\frac{q}{p} \right )^l &=1
\end{matrix}\right.$
解方程组得到
$A_1 = –A_2 = \frac{-1}{\left( \frac{q}{p}\right)^l - 1}$
那么所求的解为
$u_n = \frac{-1}{\left( \frac{q}{p}\right)^l - 1} + \frac{ \left( \frac{q}{p} \right)^n }{\left( \frac{q}{p}\right)^l - 1}$
整理后得到
$u_n = \frac{\left( \frac{q}{p} \right)^n -1 }{\left( \frac{q}{p} \right)^l -1}$
当$p = q$时：
$\omega_2 = \frac{q}{p} = 1 = \omega_1$
即得到重根。此时，把根代入初始条件式子，得到
$\left\{\begin{matrix}
u_0 &= &A_1+A_2 &=0 \\
u_l &= &A_1+A_2 &=1
\end{matrix}\right.$
毫无疑问，上面的式子是不成立的，因此在出现重根的时候，表明我们的初始假设$u_n = A\omega^n$是错的，所以需要尝试其它的假设：
$u_n = (A_1+A_2n)\omega^n$
把该假设的式子代入差分方程得到：
$\begin{align*}
0
&=pu_{n+1}-u_n+qu_{n-1} \\
&=p(A_1+A_2(n+1))\omega^{n+1} + (A_1+A_2n)\omega^n + q(A_1+A_2(n-1))\omega^{n-1}\\
&=p(A_1+A_2(n+1))\omega^2 + (A_1+A_2n)\omega + q(A_1+A_2(n-1))\\
&=p(A_1+A_2n+A_2)\omega^2 + (A_1+A_2n)\omega + q(A_1+A_2n-A_2)\\
&=A_1(p\omega^2-\omega+q) + A_2n(p\omega^2-\omega+q) + A_2(p\omega^2-q)
\end{align*}$
可以发现原来的重根$\omega = 1$可以使得上面等式成立，因此$\omega=1$就是新假设的根。因此通解为
$\color{red}{u_n = (A_1+A_2n)(1)^n}$
现通过初始条件求$A_1$、$A_2$
$\left\{\begin{matrix}
u_0 &= &A_1+A_2\times 0 &=0 \\
u_l &= &A_1+A_2\times l &=1
\end{matrix}\right.$
解得：
$\left\{\begin{matrix}
A_1 =0 \\
A_2 = \frac{1}{l}
\end{matrix}\right.$
代入通解得到
$u_n = \frac{n}{l}$
二阶非齐次线性差分方程（2nd-order Inhomogeneous Linear Difference Equation）
设有线性方程如下：
$v_n = 1+pv_{n+1}+qv_{n-1}$
其中$v_0 = v_l = 0$，$p+q = 1$
解：
把所有$v$相关项移到等号左边，其余项移到等号右边：
$pv_{n+1} – v_n + qv_{n-1} = -1$
如果等号右边为0，那么该方程就是齐次的（Homogeneous），如我们前面两小节求解的方程，否则该方程就是非齐次的（Inhomogeneous），如我们这一小节求解的方程。
在求解非齐次方程的时候，首先我们假设该方程是齐次的，那么就能得到：
$\color{red}{v_n = A_1(1)^n + A_2\left(\frac{q}{p}\right)^n} \qquad provided \quad p\neq q$
不过由于该方程实际上是非齐次的，所以我们应该加上一个附加项：
$v_n = \color{red}{A_1(1)^n + A_2\left(\frac{q}{p}\right)^n} + \color{blue}{f(n)}$
上述的$v_n$理应使得$pv_{n+1} – v_{n} + qv_{n-1} = -1$成立。
那么把上述$v_n$代入原方程，得到：
$\begin{align*}
pv_{n+1}-v_n+qv_{n-1}
&=p\left\{A_1(1)^{n+1}+A_2\left(\frac{q}{p}\right )^{n+1}+f(n+1) \right \} \\
&-\ \ \left\{A_1(1)^{n}+A_2\left(\frac{q}{p}\right )^n+f(n) \right \}\\
&+q\left\{A_1(1)^{n-1}+A_2\left(\frac{q}{p}\right )^{n-1}+f(n-1) \right \} \\
&=pu_{n+1} - u_n + qu_{n-1} + pf(n+1) - f(n) + qf(n-1)\\
&= pf(n+1) - f(n) + qf(n-1)\\
&=-1
\end{align*}$
剩下的只有等式左边的$f(n)$相关项以及等式右边的多项式。$f(n)$展开的一般形式为
$\displaystyle{ \sum_{k=0}^{m}B_kn^k = B_{0} + B_1n+B_2n^2+\cdot\cdot\cdot+B_mn^m}$
实际上$f(n)$需要根据等式右边的多项式进行选择，如：等式右边的多项式最高次项为$n^2$，那么则可以假设$f(n) = a+bn+cn^2$。而本例子中，等式右边为常数-1，那么我们可以假设：
$\color{blue}{f(n) = a}$
即有
$pf(n+1) – f(n) + qf(n-1) = pa -a+qa = -1$
因此
$a = \frac{-1}{p-1+q}$
由于有初始条件$p+q = 1$，因此$a = \frac{-1}{p-1+q}$不存在，这就表明$f(n) = a$假设不成立。接下来可以假设：
$\color{blue}{f(n ) = a + bn}$
即
$\begin{align*}
&\ \quad pf(n+1)-f(n)+qf(n-1) \\
&=p(a+b(n+1))-(a+bn)+q(a+b(n-1)) \\
&=a(p-1+q)+bn(p-1+q)+b(p-q)\\
&=b(p-q)\\
&=-1
\end{align*}$
表明$a$可以取任意值，我们取$a = 0$；$b = \frac{-1}{p-q}$，这需要$p\neq q$。
如果$p = q$，则上面的假设不成立，那么需要进一步假设：
$\color{blue}{f(n) = a + bn + cn^2}$
即
$\begin{align*}
&\ \quad pf(n+1)-f(n)+qf(n-1)\\
&=p(a+b(n+1)+c(n+1)^2)-(a+bn+cn^2)+q(a+b(n-1)+c(n-1)^2) \\
&=a(p-1+q)+bn(p-1+q)+b(p-q) + cn^2(p-1+q)+cn(2-2)+c(p+q)\\
&=0+0+0+0+0+c(p+q)\\
&=c \\
&=-1
\end{align*}$
表明$a,b$可以取任意值，我们取$a = 0,b=0$；$c = -1$，这是当$p=q$的情况。
综合上述结果：
$\left\{\begin{matrix}
v_n &= &\color{red}{A_1+A_2\left(\frac{q}{p} \right )^n} - \color{blue}{\frac{n}{p-q}} &,&p\neq q \\
v_n &= &\color{red}{A_1+A_2}-\color{blue}{n^2} &,&p=q
\end{matrix}\right.$
最后就是根据初始条件求出$A_1,A_2$了（略）。
二阶线性差分方程的表达及其求解方法
本节的目的在于通过上述例子总结出二阶线性差分方程求解的步骤，看完上面的例子就能理解各个步骤的意义了。
一般的二阶线性差分方程的表达式
二阶线性差分方程的一般表达式如下：
$ay_{t+2} + by_{t+1} + cy_t = x(t) \qquad t\in N^+$
一般来说，等式右边多为常数。
$ay_{t+2} + by_{t+1} + cy_t = d$
当$d=0$时，当前方程为齐次（homogeneous），否则为非齐次（inhomogeneous）。
线性差分方程的解的结构
线性差分方程的解分为两个部分：
$y(t) = y_h(t) + y_p(t)$
其中 $y_h(t)$为通解（general solution），又称为齐次解（homogeneous solution）；$y_p(t)$称为特解（particular solution）。
二阶线性差分方程的求解过程
二阶齐次线性差分方程
求解齐次线性差分方程得到的解被称为通解，又称为齐次解
-
假设
$y_t = A\omega^t$
-
把该假设代入原差分方程，整理后得到一元二次方程：
$a\omega^2+b\omega+c = 0$
-
解一元二次方程得到两个根：
$\omega_{1,2} = \frac{-b\pm\sqrt{b^2-4ac}}{2a}$
-
如果两个根不相等，则
$y_t = A_1\omega_1^t + A_2\omega_2^t$
-
如果两个根相等（重根），则
$y_t = (A_1+A_2n)\omega^t$
-
通过初始条件求出$A_1,A_2$。
二阶非齐次线性差分方程
非齐次线性差分方程的解分为通解以及特解两部分。
-
令等式右边等于0，得到二阶齐次线性差分方程：
$ay_{t+2} + by_{t+1} + cy_t = 0$
求解该齐次方程，得到通解$y_h(t)$。
-
观察方程等式右边的式子，进行相应特解假设，我们这里的等式右边为常数$b$，因此假设特解为：
$y_p(t) = D$
如果等式右边为$t^k$，我们按理应该假设
$y_p(t) = D_0t^k + D_1t^{k-1}+\cdot\cdot\cdot+D_k$
-
如果上述假设不成立，则需要在重新对特解进行假设，假设时增加一个阶：
$y_p(t) = D \Rightarrow y_p(t) = D_0t+D_1$
-
重复上一步骤直到得到正确的特解。
-
通解与特解相加得到$y_t$：
$y(t) = y_h(t) + y_p(t)$
-
通过初始条件求出$A_1,A_2$。
上面讨论的是非重根以及重根的情况，实际上$\omega = \frac{-b\pm\sqrt{b^2-4ac}}{2a}$可能会由于$b^2-4ac<0$而得到共轭复数的情况，二阶线性差分方程中的根/特征值的讨论中有较为详细的描述。
N阶线性差分方程的表达与解[2]
表达式
N阶线性差分方程表示呈如下形式：
$A_0y_t+A_1y_{t-1}+\cdot\cdot\cdot+A_{N-1}y_{t-N+1}+A_Ny_{t-N} = B_0x_t+B_1x_{t-1}+\cdot\cdot\cdot+B_{M-1}x_{t-M+1}+B_{M}x_{t-M}$
或写成：
$\displaystyle{ \sum_{k=0}^{N}A_ky_{t-k} = \sum_{r=0}^{M}B_rx_{t-r} }$
齐次解
等式左边用于求齐次解（通解），在求齐次解的时候我们会假设$y_t = C\omega^t$，然后代入原方程求根$\omega$。
如果求得有N个不同的$\omega$，即$\omega$非重根时
$y_t = C_1\omega_1^t + C_2\omega_2+\cdot\cdot\cdot+C_N\omega_N^t = \displaystyle{\sum_{k=1}^NC_k\omega_k^t}$
如果求得的根中有K个相同的根$\omega_1$，即K次重根时
$\begin{align*}y_t &= (D_1t^{K-1}+D_2t^{K-2}+\cdot\cdot\cdot+D_{K-1}t+D_K)\omega_1^t+C_2\omega_2^t+C_3\omega_3^t+\cdot\cdot\cdot+C_{N-K+1}\omega_{N-K+1}^t \\ &= \sum_{m=1}^{K}D_mt^{K-m}\omega_1^t+\sum_{n=2}^{N-K+1}C_n\omega_n^t \end{align*}$
如果求得的根中存在共轭根$\omega_{1,2}=h\pm iv = Re^{\pm j\theta}$，那么$y_t$的会存在虚数部分，虚数部分为：
$C_1(h+iv)^t+C_2(h-iv)^t = C_1R^tcos(t\theta)+iC_2R^tsin(t\theta)$
如果有K个重复的共轭根，那么虚数部分如下：
$(P_1t^{K-1}+P_2t^{K-2}+\cdot\cdot\cdot+P_{K-1}t+P_{K})R^tcos(t\theta)+i(Q_1t^{K-1}+Q_2t^{K-2}+\cdot\cdot\cdot+Q_{K-1}t+Q_{K})R^nsin(t\theta)$
特解
等式右边的项用于求特解。$x(t)$在离散时间信号系统中被称为激励（excitation），一般为已知式子，把激励代入等式右边即得到自由项，不过似乎我们常见的右边的项都是比较简单的。自由项存在多种形式，不同的形式对应不同特解。
-
自由项为$t^k$的多项式
如果$\omega \neq 1$，特解为：
$y_p(t) = D_0t^k+D_1n^{k-1}+\cdot\cdot\cdot+D_k$
如果有K个$\omega = 1$的重根
$y_p(t) = t^K(D_0t^k+D_1n^{k-1}+\cdot\cdot\cdot+D_k)$
-
自由项为$a^n$
如果$a \neq \omega$，
$y_p(t) = Da^t$
如果有K个重根$\omega_1$，且$a = \omega_1$
$y_p(t) = (D_0t^K+D_1n^{K-1}+\cdot\cdot\cdot+D_K)a^t$
-
自由项为$sint\theta$或者$cost\theta$
$y_p(t) = D_1sint\theta+D_2cost\theta$
-
自由项为$\alpha^t(A_1sint\theta+A_2cost\theta)$
如果$\omega \neq \alpha e^{\pm i\theta}$
$y_p(t) = \alpha^t(D_1sint\theta+D_2cost\theta)$
如果$\omega = \alpha e^{\pm i\theta}$
$y_p(t) = t^K\alpha^t(D_1sint\theta+D_2cost\theta)$
※这一小节关于特解部分可能会有些错误，不过由于这并不是我们要讨论的重点，所以不去求证了…
参考文献：
[1] CAM.AC.UK : Difference Equations
[2] CCNU：常系数线性差分方程的求解
