机器学习论文笔记（7）

一种基于低秩表示的子空间聚类改进算法

摘要：该文针对现有的基于低秩表示的子空间聚类算法使用核范数来代替秩函数，不能有效地估计矩阵的秩和对高斯噪声敏感的缺陷，提出一种改进的算法，旨在提高算法准确率的同时，保持其在高斯噪声下的稳定性。在构建目标函数时，使用系数矩阵的核范数和Forbenius 范数作为正则项，对系数矩阵的奇异值进行强凸的正则化后，采用非精确的增广拉格朗日乘子方法求解，最后对求得的系数矩阵进行后处理得到亲和矩阵，并采用经典的谱聚类方法进行聚类。在人工数据集、Extended Yale B 数据库和PIE 数据库上同流行的子空间聚类算法的实验对比证明了所提改进算法的有效性和对高斯噪声的鲁棒性。

 

（1）已有的低秩表示的子空间聚类算法中，使用核范数来代替秩函数（LRR 将矩阵的秩函数凸松弛为核范数），这样无法有效估计矩阵的秩，而且对高斯噪声很敏感。

该算法改进，提高准确率，使得算法对于高斯噪声具有稳定性，在目标函数中，使用系数矩阵的核范数和Frobenius范数作为正则项，对系数矩阵的奇异值进行强凸正则化，采用非精确的增广拉格朗日乘子法求解，对求得的系数矩阵进行后处理得到亲和矩阵，然后采用经典谱聚类方法进行聚类。

该算法主要是改进算法对高斯噪声具有鲁棒性。

 （2）正则化：https://www.jianshu.com/p/569efedf6985

亲和矩阵：关联矩阵，相似度矩阵

 

（3）LRR 将矩阵的秩函数凸松弛为核范数，通过求解核范数最小化问题，求得基于低秩表示的亲和矩阵，在运动分割和人脸聚类等子空间聚类任务中表现出了良好的性能。文献[7]通过对亲和矩阵进行严格的块对角约束提高 LRR 的性能。文献[8]通过部分的奇异值分解降低 LRR 的时间复杂度。文献[9]将降低数据的维数和聚类数据到同一子空间整合到同一框架。文献[10]提出了基于拉普拉斯正则化的 LRR，同时探索数据的全局结构和局部的流形结构。文献[11]通过对偶图规则化同时保护数据在外围空间和特征空间的几何信息。

 

[7] FENG J S, LIN Z C, XU H, et al. Robust subspace segmentation with block-diagonal prior[C]. Proceedings of the IEEE International Conference on Computer Vision and Pattern Recognition, Columbus, USA, 2014: 3818-3825. doi: 10.1109/CVPR.2014.482.

[9] PATEL V M, NGUYEN H V, and VIDAL R. Latent space sparse and low-rank subspace clustering[J]. IEEE Journal of Selected Topics in Signal Processing, 2015, 9(4): 691-701. doi: 10.1109/JSTSP.2015.2402643.

[10] LIU J M, CHEN Y J, ZHANG J S, et al. Enhancing low-rank subspace clustering by manifold regularization[J]. IEEE Transactions on Image Processing, 2014, 23(9): 4022-4030. doi: 10.1109/TIP.2014.2343458.

[11] YIN M, GAO J B, LIN Z C, et al. Dual graph regularized latent low-rank representation for subspace clustering[J]. IEEE Transactions on Image Processing, 2015, 24(12): 4918-4933. doi: 10.1109/TIP.2015.2472277.

 

 （4）Elastic net 是统计学习中一类有效的模型，将l1范数和 l2范数联合作为惩罚函数，l1范数保证复杂模型解的稀疏性， l2范数保证复杂模型解的稳定性，应用于低秩矩阵恢复问题中获得了很好的效果。