Noisy Matrix Decomposition via Convex Relaxation: Optimal Rates in High Dimensions

Noisy Matrix Decomposition via Convex Relaxation: Optimal Rates in High Dimensions 

摘要：这篇论文主要讨论了一类凸松弛的矩阵分解问题。这类问题适用于很多统计模型：如成分分析，多任务回归和鲁棒协方差估计。作者使用了一个条件更弱的“尖刺度量”（spikiness）来取代传统的“不相干度量”（incoherence），针对凸优化问题的解给出了F范误差的界。此外，作者推出的lower bound和经典的极大最小误差相一致。

 

第一章：作者主要讨论了低秩和稀疏分解情形，这类矩阵分解有很强的应用背景，如高斯协方差选择，多任务回归以及鲁棒协方差估计。为了方便讨论，我们假设 就是一个简单的单位映射算子。

算法主要讨论这样一个信息还原问题：

 

其中 是观测信号， 是（可能是稠密的）噪音； 是低秩矩阵， 是稀疏矩阵。以为的研究都假设没有噪音，即 。

论文中有一点比较有趣的是，作者不需要低秩矩阵 有着“不相干度量”的特性，而只需要控制一个更弱条件的正则子的对偶范的“尖刺度量”。

 

第二章：矩阵的低秩和稀疏近似算法有很多的应用，文章中举了3个例子。

论文主要讨论了如下凸松弛矩阵分解算法：

 

注意到 是低秩矩阵， 是稀疏矩阵。作者在论文中还研究了如何选择这些参数以保证更好的运行效果。

过去的方法表明，除非低秩部分 是“不相干”（incoherent）,否则没有任何的方法能够恢复 和 在本文中，作者使用了一个更弱的条件，称为“尖刺度量”。虽然这个条件不能保证可识别性质，但是提供了一个不可识别的半径。事实上，论文的主要贡献在于建立了一个极少最大化最优的速度，这也意味着不存在比目前我们提出的方法实质好得多的其他算法。

首先，作者定义了正则子的质量度量为：

 

以及对偶范数：

 

定义估计算子为：

 

 

那么论文主要分析的优化问题为：