从谱估计方法中得到的一点感悟

谱估计是近代信号处理中的一部分，本文是我看过谱估计方法之后的一点点感悟。这里不对谱估计方法做介绍，仅做总结用。希望自己考试顺利。

0. 总结

这篇文章没有写完，考试已经结束两周了。文章可能不会继续写了，写完了分享出来对99.99%的人也没有用。但是从中得到的感悟，我觉得还是有一定意义的。

算法总是基于一定假设上的，假设得合理与否，是否充分很大程度上决定了算法的性能。对于估计算法而言，没有理由认为达到某一个指标下的估计结果一定会更好，因此算法应该综合多个指标权衡考虑。

当然，更重要的是对于不确知的数进行概率上的假设，同时尽可能的把已知的信息用到估计算法中去。

1. "贪婪"不得

有时候我总是“贪婪”的去追求那个最好，却不知道根本没有真正的“最好”，而那个“贪婪”的方向往往也是不正确的。

无偏

估计性能评价中的重要的一点是“无偏特性”，也就是说估计值的均值等于真值。之前一直觉得，无偏估计肯定比有偏的合适，既然都有偏了，为何不减去一个量让其变成无偏的呢？然而我忽略了一个事实，渐进无偏也是一种有偏，这种“偏”不是加上一个数就可以抑制的。

最大似然估计（MLE）就是一种有偏估计。然而MLE是渐进无偏且渐进有效的（方差达到CRLB），这（CRLB）甚至是MVU有时都无法达到的（有效估计）。

谱估计中的一个例子是自相关函数的估计，自相关函数的无偏估计具有较大的偏差，可表示为(小于零情况下取共轭)

$r_x(k)=\frac{1}{N-k}\sum_{n=0}^{N-k-1} x^*(n)x(n+k)\qquad \qquad \qquad 0\leq k \leq N-1$

然而一般情况下，我们均采用自相关函数的有偏估计，即无偏估计的系数分母改为固定值 $N$ 。此时能够得到更低的方差（ $k$ 值大的时候），具有更低的均方误差，并且自相关矩阵半正定，这是极其有用的。

近似最优解

线谱估计中，需要求解的最优化函数及其复杂。

Trade off

当初老师讲解基本的电路设计的时候告诉我们说，电路设计就是一个权衡的过程。一方面的提升往往会带来其他方面的问题，需要根据自身的需求设计合适的电路。虽然贪婪算法在很多地方取得了很好的效果，但面临更多其他的问题，我们还是“贪婪”不得。

权衡，再权衡，合适的才是好的。

2. 勇于面对未知

从经典谱估计到现代谱估计

经典谱估计比较简单，因为功率谱是自相关函数的傅立叶变换，所以只需要估计出自相关函数就可以求得功率谱了（自相关法）。然而问题在于，我们只能得到有限长的序列样本，得到的自相关函数的估计是不准确的。

那么，得不到好的估计的问题出在哪呢？聪明的前人发现，采样序列每个点之间不是相互独立的，而是有一定内在联系的。这个“内在联系”告诉我们，对于采样时间外的信号，我们并不是一无所知的——虽然我们的确不知道采样时间外的情况。经典谱估计犯下的错误是——在估计过程中默认了采样时间点外的信号都为0。“未知”并不可怕，可怕的是不知道这是“未知”。

人们考虑采用最大熵来对功率谱进行估计，即通过已知的序列推出最有可能的未知序列。然而实际上，通过谱表示定理（规则过程，即谱连续），可以建立AR，MA或是ARMA模型，由此来求取功率谱，这是现代谱估计的基本方法

现代谱估计在很多方面超越了经典谱估计，就在于现代谱估计把“未知”当成“未知”处理，而没有强行给出一个不合理的假设。

从LS到TLS

最小二乘和总体最小二乘的简介、区别、理解可以参考总体最小二乘（TLS）。这两个方法的区别，究其根本，可以认为最小二乘是约束总体最小二乘。也就是说，最小二乘是约束了矩阵无扰动下的总体最小二乘。

谱估计方法中，采用总体最小二乘会比最小二乘好的原因就在于将不知道的东西真正当成未知去求解，而不是一味的去做出假设。

用于去面对未知，不要用假设去回避，那么会得到比假设更接近真实的结果。

3. 有舍也要得

AR估计中协方差法舍弃数据

AR估计中最基本的式子是Yule-Walker方程，即

$a=R^{-1}b$

如果直接利用自相关函数的有偏估计，此时矩阵具有很好的性质，容易求解。然而，采用这一估计求解问题，仔细分析可知，实际求解的是 $X^HXa=X^Hb$ 。问题就在于矩阵 $X$ 中对未知的序列进行了假设，假设为0。

协方差法从这个角度出发，对 $X$ 进行了修正，将含有0的行舍去，剩下的才是真正有效的数据。虽然这些被舍弃的数据中可能也包含了一定的信息，然而将这些不准确的数据去掉，使得协方差法比自相关法取得了更好的效果。

不准确就不要了，有准确的就够了，不是吗？

修正协方差利用前后向误差

舍弃的同时，也要学会获取。之前的方法中，利用前向预测误差最小化求 $a$ ，搞清楚 $a$ 在后向预测系数之间的关系，我们可以获得其更精确的估计。实际上 $b=a^*$ ( $b$ 是后向预测系数，这一等式成立对排列顺序由要求)。之前的方法求解的是方程 $Xa=x$ ,根据这一关系，我们又可以列出一个式子 $X^’a^*=x^’$ 。对等式取共轭，由于前向后先误差没有权重差异，直接合并这两个式子，得出的就是修正协方差法了。