文本特征提取---词袋模型，TF-IDF模型，N-gram模型（Text Feature Extraction Bag of Words TF-IDF N-gram ）
假设有一段文本："I have a cat, his name is Huzihu. Huzihu is really cute and friendly. We are good friends." 那么怎么提取这段文本的特征呢？
一个简单的方法就是使用词袋模型（bag of words model）。选定文本内一定的词放入词袋，统计词袋内所有词在文本中出现的次数（忽略语法和单词出现的顺序），将其用向量的形式表示出来。
词频统计可以用scikit-learn的CountVectorizer实现：
text1="I have a cat, his name is Huzihu. Huzihu is really cute and friendly. We are good friends." from sklearn.feature_extraction.text import CountVectorizer CV=CountVectorizer() words=CV.fit_transform([text1]) #这里注意要把文本字符串变为列表进行输入 print(words)
首先CountVectorizer将文本映射成字典，字典的键是文本内的词，值是词的索引，然后对字典进行学习，将其转换成词频矩阵并输出：
(0, 3) 1
(0, 4) 1
(0, 0) 1
(0, 11) 1
(0, 2) 1
(0, 10) 1
(0, 7) 2
(0, 8) 2
(0, 9) 1
(0, 6) 1
(0, 1) 1
(0, 5) 1
(0, 7) 2 代表第7个词"Huzihu"出现了2次。
注：CountVectorizer类会把文本全部转换成小写，然后将文本词块化（tokenize）。文本词块化是把句子分割成词块（token）或有意义的字母序列的过程。词块大多是单词，但它们也可能是一些短语，如标点符号和词缀。CountVectorizer类通过正则表达式用空格分割句子，然后抽取长度大于等于2的字母序列。（摘自：http://lib.csdn.net/article/machinelearning/42813）
我们一般提取文本特征是用于文档分类，那么就需要知道各个文档之间的相似程度。可以通过计算文档特征向量之间的欧氏距离（Euclidean distance）来进行比较。
让我们添加另外两段文本，看看这三段文本之间的相似程度如何。
文本二："My cousin has a cute dog. He likes sleeping and eating. He is friendly to others."
文本三："We all need to make plans for the future, otherwise we will regret when we're old."
text1="I have a cat, his name is Huzihu. Huzihu is really cute and friendly. We are good friends." text2="My cousin has a cute dog. He likes sleeping and eating. He is friendly to others." text3= "We all need to make plans for the future, otherwise we will regret when we're old." corpus=[text1,text2,text3] #把三个文档放入语料库 from sklearn.feature_extraction.text import CountVectorizer CV=CountVectorizer() words=CV.fit_transform(corpus) words_frequency=words.todense() #用todense()转化成矩阵 print(CV.get_feature_names()) print(words_frequency)
此时分别输出的是特征名称和由每个文本的词频向量组成的矩阵：
['all', 'and', 'are', 'cat', 'cousin', 'cute', 'dog', 'eating', 'for', 'friendly', 'friends', 'future', 'good', 'has', 'have', 'he', 'his', 'huzihu', 'is', 'likes', 'make', 'my', 'name', 'need', 'old', 'others', 'otherwise', 'plans', 're', 'really', 'regret', 'sleeping', 'the', 'to', 'we', 'when', 'will'] [[0 1 1 ..., 1 0 0] [0 1 0 ..., 0 0 0] [1 0 0 ..., 3 1 1]]
可以看到，矩阵第一列，其中前两个数都为0，最后一个数为1，代表"all"在前两个文本中都未出现过，而在第三个文本中出现了一次。
接下来，我们就可以用sklearn中的euclidean_distances来计算这三个文本特征向量之间的距离了。
from sklearn.metrics.pairwise import euclidean_distances for i,j in ([0,1],[0,2],[1,2]): dist=euclidean_distances(words_frequency[i],words_frequency[j]) print("文本{}和文本{}特征向量之间的欧氏距离是：{}".format(i+1,j+1,dist))
输出如下：
文本1和文本2特征向量之间的欧氏距离是：[[ 5.19615242]] 文本1和文本3特征向量之间的欧氏距离是：[[ 6.08276253]] 文本2和文本3特征向量之间的欧氏距离是：[[ 6.164414]]
可以看到，文本一和文本二之间最相似。
现在思考一下，应该选什么样的词放入词袋呢？有一些词并不能提供多少有用的信息，比如：the, be, you, he...这些词被称为停止词（stop words）。由于文本内包含的词的数量非常之多（词袋内的每一个词都是一个维度），因此我们需要尽量减少维度，去除这些噪音，以便更好地计算和拟合。
可以在创建CountVectorizer实例时添加stop_words="english"参数来去除这些停用词。
另外，也可以下载NLTK（Natural Language Toolkit）自然语言工具包，使用其里面的停用词。
下面，我们就用NLTK来试一试（使用之前，请大家先下载安装：pip install NLTK）：
text1="I have a cat, his name is Huzihu. Huzihu is really cute and friendly. We are good friends." text2="My cousin has a cute dog. He likes sleeping and eating. He is friendly to others." text3= "We all need to make plans for the future, otherwise we will regret when we're old." corpus=[text1,text2,text3] from nltk.corpus import stopwords noise=stopwords.words("english") from sklearn.feature_extraction.text import CountVectorizer CV=CountVectorizer(stop_words=noise) words=CV.fit_transform(corpus) words_frequency=words.todense() print(CV.get_feature_names()) print(words_frequency)
输出：
['cat', 'cousin', 'cute', 'dog', 'eating', 'friendly', 'friends', 'future', 'good', 'huzihu', 'likes', 'make', 'name', 'need', 'old', 'others', 'otherwise', 'plans', 'really', 'regret', 'sleeping'] [[1 0 1 ..., 1 0 0] [0 1 1 ..., 0 0 1] [0 0 0 ..., 0 1 0]]
可以看到，此时词袋里的词减少了。通过查看words_frequncy.shape，我们发现特征向量的维度也由原来的37变为了21。
还有一个需要考虑的情况，比如说文本中出现的friendly和friends意思相近，可以看成是一个词。但是由于之前把这两个词分别算成是两个不同的特征，这就可能导致文本分类出现偏差。解决办法是对单词进行词干提取（stemming），再把词干放入词袋。
下面用NLTK中的SnowballStemmer来提取词干（注意：需要先用正则表达式把文本中的词提取出来，也就是进行词块化，再提取词干，因此在用CountVectorizer时可以把tokenizer参数设为自己写的function）：
text1="I have a cat, his name is Huzihu. Huzihu is really cute and friendly. We are good friends." text2="My cousin has a cute dog. He likes sleeping and eating. He is friendly to others." text3= "We all need to make plans for the future, otherwise we will regret when we're old." corpus=[text1,text2,text3] from nltk import RegexpTokenizer from nltk.stem.snowball import SnowballStemmer def stemming(token): stemming=SnowballStemmer("english") stemmed=[stemming.stem(each) for each in token] return stemmed def tokenize(text): tokenizer=RegexpTokenizer(r'\w+') #设置正则表达式规则 tokens=tokenizer.tokenize(text) stems=stemming(tokens) return stems from nltk.corpus import stopwords noise=stopwords.words("english") from sklearn.feature_extraction.text import CountVectorizer CV=CountVectorizer(stop_words=noise,tokenizer=tokenize,lowercase=False) words=CV.fit_transform(corpus) words_frequency=words.todense() print(CV.get_feature_names()) print(words_frequency)
输出：
['cat', 'cousin', 'cute', 'dog', 'eat', 'friend', 'futur', 'good', 'huzihu', 'like', 'make', 'name', 'need', 'old', 'otherwis', 'plan', 'realli', 'regret', 'sleep'] [[1 0 1 ..., 1 0 0] [0 1 1 ..., 0 0 1] [0 0 0 ..., 0 1 0]]
可以看到，friendly和friends在提取词干后都变成了friend。而others提取词干后变为other，other属于停用词，被移除了，因此现在词袋特征向量维度变成了19。
此外，还需注意的是词形的变化。比如说单复数："foot"和"feet"，过去式和现在进行时："understood"和"understanding"，主动和被动："eat"和"eaten"，等等。这些词都应该被视为同一个特征。解决的办法是进行词形还原（lemmatization）。这里就不演示了，可以用NLTK中的WordNetLemmatizer来进行词形还原（from nltk.stem.wordnet import WordNetLemmatizer）。
词干提取和词形还原的区别可参见：https://www.neilx.com/blog/?p=1425。
最后，再想一下，长文本和短文本包含的信息是不对等的，一般来说，长文本包含的关键词要比短文本多，因此，我们需要对文本进行归一化处理，将每个单词出现的次数除以该文本中所有单词的个数，这被称之为词频（term frequency）（注：之前说的词频是指绝对频率，这里的词频是指相对频率）。其次，我们在对文档进行分类时，假如某个词在各文本中都有出现，那么这个词就无法给分类带来多少有用的信息。因此，对于出现频率高的词和频率低的词，我们应该区分对待，它们的重要性是不一样的。解决的办法就是用逆文档频率（inverse document frequency）来给词进行加权。IDF会根据单词在文本中出现的频率进行加权，出现频率高的词，加权系数就低，反之，出现频率低的词，加权系数就高。这两者相结合被称之为TF-IDF（term frequncy, inverse document frequency）。可以用sklearn的TfidfVectorizer来实现。
下面，我们把CountVectorizer换成TfidfVectorizer（包括之前使用过的提取词干和去除停用词），再来计算一下这三个文本之间的相似度：
text1="I have a cat, his name is Huzihu. Huzihu is really cute and friendly. We are good friends." text2="My cousin has a cute dog. He likes sleeping and eating. He is friendly to others." text3= "We all need to make plans for the future, otherwise we will regret when we're old." corpus=[text1,text2,text3] from nltk import RegexpTokenizer from nltk.stem.snowball import SnowballStemmer def stemming(token): stemming=SnowballStemmer("english") stemmed=[stemming.stem(each) for each in token] return stemmed def tokenize(text): tokenizer=RegexpTokenizer(r'\w+') #设置正则表达式规则 tokens=tokenizer.tokenize(text) stems=stemming(tokens) return stems from nltk.corpus import stopwords noise=stopwords.words("english") from sklearn.feature_extraction.text import TfidfVectorizer CV=TfidfVectorizer(stop_words=noise,tokenizer=tokenize,lowercase=False) words=CV.fit_transform(corpus) words_frequency=words.todense() print(CV.get_feature_names()) print(words_frequency) from sklearn.metrics.pairwise import euclidean_distances for i,j in ([0,1],[0,2],[1,2]): dist=euclidean_distances(words_frequency[i],words_frequency[j]) print("文本{}和文本{}特征向量之间的欧氏距离是：{}".format(i+1,j+1,dist))
输出：
['cat', 'cousin', 'cute', 'dog', 'eat', 'friend', 'futur', 'good', 'huzihu', 'like', 'make', 'name', 'need', 'old', 'otherwis', 'plan', 'realli', 'regret', 'sleep'] [[ 0.30300252 0. 0.23044123 ..., 0.30300252 0. 0. ] [ 0. 0.40301621 0.30650422 ..., 0. 0. 0.40301621] [ 0. 0. 0. ..., 0. 0.37796447 0. ]] 文本1和文本2特征向量之间的欧氏距离是：[[ 1.25547312]] 文本1和文本3特征向量之间的欧氏距离是：[[ 1.41421356]] 文本2和文本3特征向量之间的欧氏距离是：[[ 1.41421356]]
可以看到，现在特征值不再是单词出现的次数了，而是相对频率加权之后的值。虽然我们只用了很短的文本进行测试，但还是能看出来，经过一系列优化后，计算出的结果更准确了。
词袋模型的缺点： 1. 无法反映词之间的关联关系。例如："Humans like cats."和"Cats like humans"具有相同的特征向量。
2. 无法捕捉否定关系。例如："I will not eat noodles today."和"I will eat noodles today."尽管意思相反，但是从特征向量来看它们非常相似。
不过这些问题有一部分可以通过使用N-gram模型来解决（可以在用sklearn创建CountVectorizer实例时加上ngram_range参数）。
