稀疏表达和压缩感知的一些对比
本报告将从稀疏表达和压缩感知两个方面论述我对它们的一些理解。
在压缩感知模型中： y=Ax+n （1）
x表示原始信号，A表示稀疏映射矩阵，n表示加性噪声，y表示压缩测量。在此模型中，如果原始信号x满足一定的稀疏特性时，通过稀疏映射矩阵A的作用，可以将其压缩到很小的向量空间里，即y的行数比x小得多，这也体现了稀疏理论的核心思想：将高维信号用低维信号来描述。
在稀疏表达模型里，我们用y表示原始信号，A表示字典，x表示原始信号在字典A下的稀疏表达，一般应用中，字典A是过完备的，即A的列数多余行数，这与压缩感知中的稀疏映射矩阵是相洽的，在不考虑噪声 的情况下: y=Ax （3）
将 x做自变量，可以看到这个方程未知数的个数多于方程个数，也即这个方程要么有无穷多个解（当增广矩阵[A,y]的秩=矩阵[A]的秩时），要么无解（当增广矩阵[A,y]的秩>矩阵[A]的秩时），我们当然是考虑有无穷多个解的情形。有无穷多个解哪个解是我们需要的呢？学者告诉我们应该找到最稀疏的那个解，也即中非零元素最少的那个解是我们需要的，也即优化下面一个问题： min J(x) s.t. y=Ax （4）
或者统一成一个表达式： argmin Power(||y-Ax||_2,2)+lambdaJ(x) (5)
前一项表示数据拟合项，后一项表示稀疏约束项，J(x)取x的L0范数，L0范数即是统计x中非零元素的个数，但是L0范数表示的函数是非凸的，我们不能保证得到最优解，但是在一些实际应用中，我们不需要得到最优解，比如在图像去噪应用中，我们就可以应用L0范数模型，虽然求得的x不一定是全局唯一最优的，但是仍然起到了去噪效果，并且效果达到了state-of-the-art，以以色列的Michael Elad为代表的学者用的是L0范数来建模的，如KSVD[1]和Double Sparsity模型[2]。或者我们退而求其次，考虑L1范数，虽然L1范数亦不能保证得到全局唯一的最优解，因为L1范数不是严格凸的，但是L1范数可以达到稀疏的效果，并且一般能够满足实际应用中的效果，如以法国的Julien Mairal,FrancisBach,Jean Ponce为代表的学者[3]就是以L1范数来建模的。这两个地方在稀疏表达方面的研究貌似是起到主导作用的，很多人都是根据他们的工作来进行扩展研究的。
从上面稀疏表达和压缩感知的模型中，可以看出它们的核心问题是相通的，即在压缩测量y或原始信号y已知的情况下，结合预先定义的感知矩阵A或者字典A，利用L0,L1范数模型（可以是它们的融合，甚至可以加上L2范数[3]），求解到原始的稀疏信号x或者稀疏表达x，但是在压缩感知中，感知矩阵A一般是事先定义好的，可以取成高斯随机矩阵，或者是只有0和1的稀疏矩阵（binary sparse matrix），如张智林老师在用BSBL_BO算法处理胎儿心电图信号时[4,5]用的就是后者，取得了很好的效果。但是在稀疏表达模型，比较主流的做法是通过学习的方法得到字典，这样的字典比预先定义的字典有更好的自适应性，这以思想应该可以借鉴到压缩感知的模型中。
从[4][5]两篇文章中可以看出，在考虑原始信号 的块内相关性的情况下，我们可以得到更高的压缩率，并且恢复的原始信号也更加真实、鲁棒，这在胎儿心电图信号和语音信号应用中得到了验证。在稀疏表达模型中，有些人一方面在考虑稀疏表达系数x的结构性，比如考虑张智林老师所展示的块内相关性或者块间相关性等等，另一方面很多人在考虑学习到的字典A的结构性，如文章[2]中就将字典A建模成了A=WD，其中D是一个稀疏矩阵，其每列有指定数目的非零元素，D通过学习得到， W为事先设定的矩阵，这样的话，D和x都是稀疏的，并且可以通过[2]中的算法统一求解得到。文章[3]讲述了根据特定任务构建特定字典的方法，这貌似在稀疏表达研究中是一个主流。
在张智林老师所提出的BSBL算法及其扩展中，原始信号x具有块结构，感知矩阵A的行数小于列数，这样可以将原始信号映射到一个更低维度的空间里，起到了采样的效果，采样率在一定条件下可以比奈奎斯特采样率低很多。在考虑原始信号x的块内元素相关性的情况下，通过实验可以证明，在信号恢复应用中达到了state-of-the-art的效果，也即在一个块内，各个元素之间一般不是独立的，如在图像中，一个像素一般会跟周围的几个像素有很大的关系，这也是MRF模型的假设基础。考虑这种相关性，应用贝叶斯模型进行建模，我们把每个块的相关性矩阵和均值矩阵给估计出来，最终恢复出原始信号，文章从分块个数已知和未知两个方面进行了分析。
[1]K-SVD:An Algorithm for Designing OvercompleteDictionaries for Sparse Representation.
[2]Double Sparsity:Learning Sparse Dictionaries forSparse Signal Approximation.
[3]Task-Driven Dictionary Learning.
[4]Extension of SBL Algorithms for the Recovery ofBlock Sparse Signals with Intra-Block Correlation.
[5]From Sparsity to Structrued Sparsity:BayesianPerspective(in Chinese).
