奇异值分解（SVD和TruncatedSVD）

1.两者概念理解

2.SVD的使用

np.linalg.svd(a, full_matrices=True, compute_uv=True)

参数：

• a : 是一个形如(M,N)矩阵

• full_matrices：的取值是为0或者1，默认值为1，这时u的大小为(M,M)，v的大小为(N,N) 。否则u的大小为(M,K)，v的大小为(K,N) ，K=min(M,N)。

• compute_uv：取值是为0或者1，默认值为1，表示计算u,s,v。为0的时候只计算s。

返回值：

• 总共有三个返回值u，s，v，其中s是对矩阵a的奇异值分解。s除了对角元素不为0，其他元素都为0，并且对角元素从大到小排列。s中有n个奇异值，一般排在后面的比较接近0，所以仅保留比较大的r个奇异值。

Corpus(window_size=1)：

I like learning.

I like NLP.

I enjoy flying.

import numpy as np

import matplotlib.pyplot as plt
plt.style.use('ggplot')


words =['I', 'like', 'enjoy',
        'deep', 'learning', 'NLP', 'flying','.']

X = np.array([[0,2,1,0,0,0,0,0],        #X是共现矩阵
              [2,0,0,1,0,1,0,0],
              [1,0,0,0,0,0,1,0],
              [0,1,0,0,1,0,0,0],
              [0,0,0,1,0,0,0,1],
              [0,1,0,0,0,0,0,1],
              [0,0,1,0,0,0,0,1],
              [0,0,0,0,1,1,1,0]])
U, s, Vh = np.linalg.svd(X, full_matrices=False)
print(U.shape)                              #(8, 8)
print(s.shape)                              #(8,)
print(Vh.shape)                             #(8, 8)
print(np.allclose(X, np.dot(U * s, Vh)))    #True，allclose比较两个array是不是每一元素都相等,默认在1e-05的误差范围内

plt.xlim([-0.8, 0.2])
plt.ylim([-0.8, 0.8])
for i in range(len(words)):
    plt.text(U[i,0], U[i,1], words[i])

3.TruncatedSVD的使用

TruncatedSVD 的创建必须指定所需的特征数或所要选择的成分数，比如 2。一旦创建完成，你就可以通过调用 fit() 函数来拟合该变换，然后再通过调用 transform() 函数将其应用于原始矩阵。

from sklearn.decomposition import TruncatedSVD
svd = TruncatedSVD(n_components=2)
X_reduced = svd.fit_transform(X)               #X是上面的共现矩阵，两步合一步
print(X_reduced)

[[ 1.44515015 -1.53425886]
[ 1.63902195 1.68761941]
[ 0.70661477 0.73388691]
[ 0.78757738 -0.66397017]
[ 0.53253583 0.09065737]
[ 0.8413365 -0.78737543]
[ 0.50317243 -0.4312723 ]
[ 0.68076383 0.42116725]]

手动计算得到的值与上面调用函数的结果一致，但某些值的符号不一样。由于所涉及的计算的性质以及所用的基础库和方法的差异，可以预见在符号方面会存在一些不稳定性：

Vh = Vh[:2, :]
print(X.dot(Vh.T))

[[-1.44515015 -1.53425886]
[-1.63902195 1.68761941]
[-0.70661477 0.73388691]
[-0.78757738 -0.66397017]
[-0.53253583 0.09065737]
[-0.8413365 -0.78737543]
[-0.50317243 -0.4312723 ]
[-0.68076383 0.42116725]]

参考：https://zhuanlan.zhihu.com/p/134512367