用半监督算法做文本分类
作者：炼己者
欢迎大家访问 我的简书 以及 我的博客
本博客所有内容以学习、研究和分享为主，如需转载，请联系本人，标明作者和出处，并且是非商业用途，谢谢！
摘要：本文主要讲述了用半监督算法做文本分类(二分类)，主要借鉴了sklearn的一个例子——用半监督算法做数字识别 。先说结论，这是一个失败的例子，训练到第15000条就不行了，就报错了。如果你的数据量不是很大的话，可以操作一下。这里面有很多值得学习的地方，尤其是关于文本的预处理。后续还会更新，把这条路打通。
一. 操作流程
- 一共100万条数据，标注7000条，剩下的全部标注为-1
- 对文本进行预处理(jieba分词，去掉停用词等操作)
- 用gensim库将处理好的文本转为TFIDF向量
- 利用scipy库转换TFIDF向量的格式，使其可以被sklearn库的算法包训练
- 把预处理的数据输入到模型中进行训练
- 得到前500个不确定的数据，对其进行人工标注，然后再添加回训练集
- 重复以上过程，直到你的分类器变得好，符合你的要求
二. 正文
前面的jieba分词，去停用词的操作我就不说了，比较容易。在这里就分享一下怎么把gensim训练的TFIDF向量转为sklearn库算法包所要求的格式吧。
说到这里，大家肯定会问，干啥这么麻烦，直接调用sklearn计算TFIDF不就完了。原因很简单，一开始我也是这么干的，然后报了内存错误，当时我猜测是因为向量的维度太大了，因为sklearn计算出来的TFIDF向量每句话的维度达到了30000多维，所以我打算借用gensim来训练TFIDF向量，它有个好处，就是可以指定维度的大小。
那么如何计算TFIDF向量呢？
大家也可以看这篇文章——用不同的方法计算TFIDF值
1. 用gensim训练TFIDF向量，并且保存起来，省的你下次用的时候还要再跑一遍代码
from gensim import corpora
dictionary = corpora.Dictionary(word_list)
new_corpus = [dictionary.doc2bow(text) for text in word_list]
from gensim import models
tfidf = models.TfidfModel(new_corpus)
tfidf.save('my_model.tfidf')
2.载入模型,训练你的数据，得到TFIDF向量
tfidf = models.TfidfModel.load('my_model.tfidf')
tfidf_vec = []
for i in range(len(words)):
string = words[i]
string_bow = dictionary.doc2bow(string.split())
string_tfidf = tfidf[string_bow]
tfidf_vec.append(string_tfidf)
此时得到的TFIDF向量是这样的
- 元组的形式——(数据的id，TFIDF向量)
- 这样的格式sklearn的算法包是无法训练的，怎么办？
[[(0, 0.44219328927835233),
(1, 0.5488488134902755),
(2, 0.28062764931589196),
(3, 0.5488488134902755),
(4, 0.3510600763648036)],
[(5, 0.2952063480959091),
(6, 0.3085138762011414),
(7, 0.269806482343891),
(8, 0.21686460370108193),
(9, 0.4621642239026475),
(10, 0.5515758504022944),
(11, 0.4242816486479956)],
......]
3.利用lsi模型指定维度
lsi_model = models.LsiModel(corpus = tfidf_vec,id2word = dictionary,num_topics=2)
lsi_vec = []
for i in range(len(words)):
string = words[i]
string_bow = dictionary.doc2bow(string.split())
string_lsi = lsi_model[string_bow]
lsi_vec.append(string_lsi)
此时的TFIDF向量是这样的
[[(0, 9.98164139346566e-06), (1, 0.00017488533996265734)],
[(0, 0.004624808817003378), (1, 0.0052712355563472625)],
[(0, 0.005992863818284904), (1, 0.0028891269605347066)],
[(0, 0.008813713819377964), (1, 0.004300294830187425)],
[(0, 0.0010709978891676652), (1, 0.004264312831567625)],
[(0, 0.005647948200006063), (1, 0.005816420698368305)],
[(0, 1.1749284917071102e-05), (1, 0.0003525210498926822)],
[(0, 0.05046596444596279), (1, 0.03750969796637345)],
[(0, 0.0007876011346475033), (1, 0.008538972615602887)],
......]
4.通过scipy模块将数据处理为sklearn可训练的格式
from scipy.sparse import csr_matrix
data = []
rows = []
cols = []
line_count = 0
for line in lsi_vec:
for elem in line:
rows.append(line_count)
cols.append(elem[0])
data.append(elem[1])
line_count += 1
lsi_sparse_matrix = csr_matrix((data,(rows,cols))) # 稀疏向量
lsi_matrix = lsi_sparse_matrix.toarray() # 密集向量
lsi_matrix如下所示
- 这便是符合sklearn的格式要求了
Out[53]:
array([[9.98164139e-06, 1.74885340e-04],
[4.62480882e-03, 5.27123556e-03],
[5.99286382e-03, 2.88912696e-03],
...,
[1.85861559e-02, 3.24888917e-01],
[8.07737902e-04, 5.45659458e-03],
[2.61926460e-03, 2.30210522e-02]])
5.调用sklearn的半监督算法对数据进行训练
- 通过以下代码便可以得到前2000条标签最不确定的数据的索引，然后根据索引找到对应的数据，就可以对其重新人工标注了
- 把标好的数据再加回去，循环往复，直到你满意为止
- 当然这里面你得自己标注1000条数据，然后再把它们赋值为-1，假装不知道，等训练完，得到预测的结果，再与你自己标注的真实值进行比对计算，就可以知道效果的好坏了
import numpy as np
import matplotlib.pyplot as plt
from scipy import stats
from sklearn.semi_supervised import label_propagation
y = list(result.label.values)
from scipy.sparse.csgraph import *
n_total_samples = len(y) # 1571794
n_labeled_points = 7804 # 标注好的数据共10条，只训练10个带标签的数据模型
unlabeled_indices = np.arange(n_total_samples)[n_labeled_points:] # 未标注的数据
lp_model = label_propagation.LabelSpreading() # 训练模型
lp_model.fit(lsi_matrix,y)
predicted_labels = lp_model.transduction_[unlabeled_indices] # 预测的标签
# 计算被转换的标签的分布的熵
# lp_model.label_distributions_ : array,shape=[n_samples,n_classes]
# Categorical distribution for each item
pred_entropies = stats.distributions.entropy(
lp_model.label_distributions_.T)
# 选择分类器最不确定的前2000位数字的索引
uncertainty_index = np.argsort(pred_entropies)[::1]
uncertainty_index = uncertainty_index[
np.in1d(uncertainty_index,unlabeled_indices)][:2000]
print(uncertainty_index)
三. 结果与讨论
我最后没有继续往下做了，因为我的数据量很大，只能训练这么点数据没有意义，以上便是我的思路，希望会对大家有所帮助，后续我会更新新的方法来操作这个事情
本博客所有内容以学习、研究和分享为主，如需转载，请联系本人，标明作者和出处，并且是非商业用途，谢谢！
