文本处理 Python（大创案例实践总结）
文本处理 Python（大创案例实践总结）
之前用Python进行一些文本的处理，现在在这里对做过的一个案例进行整理。对于其它类似的文本数据，只要看着套用就可以了。
会包含以下几方面内容：
1.中文分词；
2.去除停用词；
3.IF-IDF的计算；
4.词云；
5.Word2Vec简单实现；
6.LDA主题模型的简单实现；
但不会按顺序讲，会以几个案例的方式来综合展示。
首先我们给计算机输入的是一个CSV文件，假设我们叫它data.csv。假设就是以下这样子的：
部分截图
接下来看看如何中文分词和去停用词操作，这两部分很基础的东西先讲，我之前有试过很多方式，觉得以下代码写法比较好（当然可能有更好的做法）
1.中文分词（jieba）和去停用词
分词用的是结巴分词，可以这样定义一个分词函数：
import jieba
mycut=lambda s:' '.join(jieba.cut(s))
下面案例中会介绍怎样用。
接下来看看去停用词，先是下载一个停用词表，导入到程序为stoplists变量（list类型）,然后可以像下面操作：
import codecs with codecs.open("stopwords.txt", "r", encoding="utf-8") as f: text = f.read() stoplists=text.splitlines()
texts = [[word for word in document.split()if word not in stoplists] for document in documents]
document变量在下面的LDA案例中会提到。
接下来我根据LDA主题模型、Word2Vec实现、IF-IDF与词云的顺序进行案例的总结。
2.LDA主题模型案例
2.1导入相关库和数据
from gensim import corpora, models, similarities
import logging
import jieba
import pandas as pd
df = pd.read_csv('data.csv',encoding='gbk',header=None,sep="xovm02")
df= df[0] .dropna() #[0]是因为我们的数据就是第一列，dropna去空
2.2分词处理
mycut=lambda s:' '.join(jieba.cut(s)) data=df[0].apply(mycut)
documents =data
2.3LDA模型计算（gensim）
# configuration 参数配置
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)
#去停用词处理
texts = [[word for word in document.split() if word not in stoplists] for document in documents]
# load id->word mapping (the dictionary) 单词映射成字典
dictionary = corpora.Dictionary(texts)
# word must appear >10 times, and no more than 40% documents
dictionary.filter_extremes(no_below=40, no_above=0.1)
# save dictionary
dictionary.save('dict_v1.dict')
# load corpus 加载语料库
corpus = [dictionary.doc2bow(text) for text in texts]
# initialize a model #使用TFIDF初始化
tfidf = models.TfidfModel(corpus)
# use the model to transform vectors, apply a transformation to a whole corpus 使用该模型来转换向量，对整个语料库进行转换
corpus_tfidf = tfidf[corpus]
# extract 100 LDA topics, using 1 pass and updating once every 1 chunk (10,000 documents), using 500 iterations
lda = models.LdaModel(corpus_tfidf, id2word=dictionary, num_topics=30, iterations=500)
# save model to files
lda.save('mylda_v1.pkl')
# print topics composition, and their scores, for the first document.
for index, score in sorted(lda[corpus_tfidf[0]], key=lambda tup: -1*tup[1]):
print ("Score: {}\t Topic: {}".format(score, lda.print_topic(index, 5)))
# print the most contributing words for 100 randomly selected topics
lda.print_topics(30)
# print the most contributing words for 100 randomly selected topics
lda.print_topics(30)
应对不同情况就根据英语提示修改参数。
我在尝试的时候gensim的LDA函数还有另一个用法：
import gensim
#模型拟合，主题设为25
lda = gensim.models.ldamodel.LdaModel(corpus=corpus, id2word=dictionary, num_topics=25)
#打印25个主题，每个主题显示最高贡献的10个
lda.print_topics(num_topics=25, num_words=10)
3.Word2Vec案例（gensim）
为了简便，这里假设分词和去停用词已经弄好了。并保存为新的data.csv。
3.1导入相关库和文件
import pandas as pd
from gensim.models import Word2Vec
from gensim.models.word2vec import LineSentence
df = pd.read_csv('data.csv',encoding='gbk',header=None,sep="xovm02")
3.2开始Word2Vec的实现
sentences = df[0]
line_sent = []
for s in sentences:
line_sent.append(s.split()) #句子组成list
model = Word2Vec(line_sent,
size=300,
window=5,
min_count=2,
workers=2) #word2vec主函数（API）
model.save('./word2vec.model')
print(model.wv.vocab) #vocab是个字典类型
print (model.wv['分手']) #打印“分手”这个词的向量
model.similarity(u"分手", u"爱情")#计算两个词之间的余弦距离
model.most_similar(u"分手")#计算余弦距离最接近“分手”的10个词
4.TF-IDF的计算和词云
4.1TF-IDF的计算
如果需要计算文本的TF-IDF值，可以参考下面操作：
#导入sklearn相关库
from sklearn.feature_extraction.text import TfidfTransformer
from sklearn.feature_extraction.text import CountVectorizer
vectorizer=CountVectorizer()
transformer=TfidfTransformer()
#计算TF-IDF值（data是你自己的文本数据）
#这一个是主函数
tfidf=transformer.fit_transform(vectorizer.fit_transform(data))
weight=tfidf.toarray()
#后续需要：
#选出的单词结果
words=vectorizer.get_feature_names()
#得到词频
vectorizer.fit_transform(data)
4.2词云
from scipy.misc import imread import matplotlib.pyplot as plt from wordcloud import WordCloud, ImageColorGenerator font_path = 'E:\simkai.ttf' # 为matplotlib设置中文字体路径没 #词云主函数 # 设置词云属性 wc = WordCloud(font_path=font_path, # 设置字体 background_color="white", # 背景颜色 max_words=200, # 词云显示的最大词数 #mask=back_coloring, # 设置背景图片 max_font_size=200, # 字体最大值 random_state=42, width=1000, height=860, margin=2,# 设置图片默认的大小,但是如果使用背景图片的话,那么保存的图片大小将会按照其大小保存,margin为词语边缘距离 ) #词云计算（假设data为你处理好需要做词云的文本数据） wc.generate(data) plt.figure() # 以下代码显示图片 plt.imshow(wc) plt.axis("off") plt.show() # 绘制词云 #将结果保存到当前文件夹 from os import path d = path.dirname('.') wc.to_file(path.join(d, "词云.png"))
5.结语
以上就是我在实践过程中使用的处理文本的一些方法，当然肯定有比这些更好的方法。
写的比较匆忙，我想等我放假再把里面不够详细的地方补全。
这一次的学习经历大约到这里就要结束了，后面就是不断总结补充和改进。
