1、SVD的定义

 

2、SVD计算举例

 

3、SVD的一些性质 

 

4、截断SVD

截断的SVD将参数计数从u*v减少到t(u+v),如果t比min(u,v)小得多,则这一点很重要。

TSVD与一般SVD不同的是它可以产生一个指定维度的分解矩阵,可以实现降维。为了压缩网络,将W对应的单个全连接层替换为两个全连接层,它们之间没有非线性。这些层中的第一层使用权矩阵,第二层使用U。这种简单的压缩方法在ROI数目较大的情况下可以很好地加速全连接层的计算。

 

5、python中的使用

  1.  from sklearn.decomposition import TruncatedSVD
  2.  svd = TruncatedSVD(2)
  3.  iris_transformed = svd.fit_transform(iris_data)
  4.  iris_data[:5]