hash trick &TF-IDF
1.hash trick
使用hash trick的根本原因是直接使用词的onehot等方式向量,导致高维度消耗内存太大,需要降维使用
做法就是根据哈希函数使高纬度表示映射到低纬,在使用过程中再反转回去。
2.tf-idf(Term Frequency - Inverse Document Frequency)
利用idf来修正词频较高但是实际的重要性相对低的问题,定性的说,在多个文本中频繁出现的词汇IDF值应该更低,直观理解就是所有文本中都包含同一个词,那么这个词应该是没有实际的意义的,IDF值应该为0.
𝐼𝐷𝐹(𝑥)=𝑙𝑜𝑔(𝑁/𝑁(𝑥))
其中N是文本总数,N(x)是包含词x的文本数目,使用log的具体原因(未查明)
所有统计计数的方法都需要一些平滑算法,简单的可以用加一平滑来做,log(N+1/N(x)+1)+1,
所以使用时候TF-IDF(x) = TF(x) * IDF(x)
简单sklearn代码
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
1 from sklearn.feature_extraction.text import TfidfTransformer 2 from sklearn.feature_extraction.text import CountVectorizer 3 4 corpus=["I come to China to travel", 5 "This is a car polupar in China", 6 "I love tea and Apple ", 7 "The work is to write some papers in science"] 8 9 vectorizer=CountVectorizer() 10 11 transformer = TfidfTransformer() 12 tfidf = transformer.fit_transform(vectorizer.fit_transform(corpus)) 13 print tfidf
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
1 from sklearn.feature_extraction.text import TfidfVectorizer 2 tfidf2 = TfidfVectorizer() 3 re = tfidf2.fit_transform(corpus) 4 print re
3.潜在语义索引(Latent Semantic Indexing,LSI)也有叫(Latent Semantic Analysis, LSA)
1)奇异值分解(SVD)原理和应用,参考https://www.cnblogs.com/pinard/p/6251584.html
一个方阵A可以利用特征向量分解成𝐴=𝑊Σ𝑊-1 其中W是特征向量组成的矩阵,Σ 是主对角阵
对于非方阵进行分解,就需要SVD,对非方阵矩阵A属于空间Rm*n,分解的目标是𝐴=𝑈Σ𝑉𝑇 其中Σ 属于空间Rm*n除了主对角线的元素都为0元素,U属于空间Rm*m ,V属于空间Rn*n,都是酉矩阵,UTU = VTV = n, 利用图片理解做法
做法,利用AAT的特征向量组成U矩阵,ATA的特征向量组成V矩阵,奇异值是ATA的特征值的平方根。
SVD的性质:
是用最大的k个奇异值来描述Σ ,也就是说,可以只保留U和V的前k列,将矩阵简化成Amxn≈ UmxkΣkxkVkxn ,这样由于这个重要的性质,SVD可以用于PCA降维,来做数据压缩和去噪。也可以用于推荐算法,将用户和喜好对应的矩阵做特征分解,进而得到隐含的用户需求来做推荐。同时也可以用于NLP中的算法,比如潜在语义索引(LSI)。
2)LSI描述
多个词,有少于词数目个主题,一般假设字典有m大小,样本数目有n个,主题有k个,利用上文的方式将产生的TF-IDF矩阵进行分解后,将Σ矩阵的维度保留到k,那么缩减后的U矩阵标识词与词义的相关程度,Σ标识词义和主题之间的相关程度,V
表示该样本和主题之间的相关程度,
3)LSI计算文本相似度,
对于2)的例子,可以利用V矩阵中样本对应的行向量来计算余弦相似度,结果即为相似程度
4)LSI问题
高纬度矩阵计算奇异值分解困难(非负矩阵分解(NMF)可解决),主题个数选取凭借经验,得到是一个矩阵,不是概率模型,很难解释
除非样本很小,一般选取层次狄利克雷过程(HDP)和隐含狄利克雷分布(LDA)
4.非负矩阵分解(NMF)
tips:Frobenius 范数,简称F-范数,是一种矩阵范数,记为||·||F。矩阵A的Frobenius范数定义为矩阵A各项元素的绝对值平方的总和。
上文中提到了替换SVD的做法是NMF,
NMF的做法是找到两个矩阵Wmxk和Hkxn 来使得矩阵A ≈ WH,其中做法是最小化||A-WH||F 也可以加入一定的正则化项,