Nonnegative Matrix Factorization: Complexity, Algorithms and Applications 论文笔记

Nicolas Gillis PhD Thesis

 

Chapter 3  Nonnegative Rank

1.存在两个open的问题，对于非负矩阵分解M=UV：

　　1) 当矩阵M的秩固定时，NMF的复杂度如何？　　

　　2) 当两个矩阵印子UV的值固定时，NMF的复杂度如何？

 

2.exact NMF 问题：

• 给定一个非负m*n矩阵M，其秩为r，如果可能，找到两个非负矩阵因子U，V，其维度分别为m*r，r*n，并且有M=UV。
• exact NMF 问题有以下几个结论：

　　1) 当rank(M)=1时，任何秩为1的非负矩阵M都可以被分解为两个非负矩阵U，V的乘积

　　2) 当rank(M)=2时，任何秩为2的非负矩阵M都可以被分解为两个秩为2的非负矩阵U，V

　　解释：讲矩阵M的每一列看做一个元素，秩为2则其每一列都可以在一个2维子空间上被表示，也即每列都可以用两个非负向量进行表示。并且，这两个extreme vector能够在多项式时间内计算出来。

 

3.针对rank-1 NMF，目前有以下理论：

• rank-1 NMF能够在多项式时间内解决；
• 非负矩阵M的左右主奇异向量都是非负的（SVD：M=UΣV^T，U中向量称为左奇异向量，V中向量称之为右奇异向量）https://www.cnblogs.com/fionacai/p/5767973.html；
• 主奇异向量的外积是M最好的rank-1 近似
• 这些向量能够在多项式时间内被计算

 

4.对于rank-2 NMF：

• 当矩阵M的最优rank-2近似为唯一且非负时，rank-2 NMF问题能够在非负时间内解决
• 实际上，rank-2 NMF经常不满足非负性，因为M中有很多相当小的元素
• 因此rank-2 NMF的复杂性未知；并且对于任何秩大于2的固定因子分解，复杂度都是未知的

5.松弛法

　　对于高斯-赛德尔迭代法，首先求得第k+1次迭代值，然后计算第k+1次、第k次迭代值之差，之后再第k次迭代值的基础上，直接加上这个差的一个倍数ω，作为实际第k+1次的迭代值，其中，ω成为松弛因子。

　　当ω>1时，成为超松弛法，次数加大了第k+1词迭代的比重；当ω<1时，称为亚松弛法或低松弛法；当ω=1时，就是普通的高斯-赛德尔迭代法。

　　矩阵形式go forhttps://baike.baidu.com/item/%E6%9D%BE%E5%BC%9B%E6%B3%95

 

6.受限非负秩（Restricted Nonnegative Rank）：rank₊^*(M)

• 对于非负矩阵M，存在一个最小的正数k，使得存在UV（维度与前文相同省略），使得M=UV，并且rank（U）= rank（M），也即col（U）= col（M）
• 一般计算