wiki中文语料的word2vec模型构建
一、利用wiki中文语料进行word2vec模型构建
1）数据获取
到wiki官网下载中文语料，下载完成后会得到命名为zhwiki-latest-pages-articles.xml.bz2的文件，里面是一个XML文件
下载地址如下：https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2
其中：https://dumps.wikimedia.org/zhwiki/latest/提供wiki各种文件下载，而且在不停的更新
本人已经下载并上传百度云盘，链接：https://pan.baidu.com/s/1kzMwGwVR4h0wuOYU70aUhA 提取码：2axt
然后在桌面新建wiki中文语料的word2vec模型构建文件夹，将下载的压缩文件放在内，进入wiki中文语料的word2vec模型构建文件夹，按住shift+右键，选择在此处打开命令窗口
输入jupyter notebook，新建一个名为：wiki_word2vec_test的脚本文件：
2）将XML的Wiki数据转换为text格式
使用gensim.corpora中的WikiCorpus函数来处理维基百科的数据，转换后生成的文件wiki.zh.txt
import logging
import sys
import os
from gensim.corpora import WikiCorpus
program = os.path.basename( sys.argv[0] )
logger = logging.getLogger(program)
logging.basicConfig(format='%(asctime)s: %(levelname)s: %(message)s')
logging.root.setLevel(level=logging.INFO)
logger.info( "running %s" % ' '.join(sys.argv) )
inp = 'zhwiki-latest-pages-articles.xml.bz2'
outp = 'wiki.zh.txt'
space = ' '
i = 0
output = open(outp, 'w', encoding='utf-8')
#gensim里的维基百科处理类WikiCorpu
wiki = WikiCorpus(inp, lemmatize=False, dictionary=[] )
#通过get_texts将维基里的每篇文章转换为1行text文本，并且去掉了标点符号等内容
for text in wiki.get_texts():
output.write( space.join(text) + '\n' )
i += 1
if ( i % 10000 == 0):
logger.info('Saved ' + str(i) + ' articles.')
output.close()
logger.info('Finished Saved ' + str(i) + ' articles.')
从下面的结果看27min处理了331588条数据，还是比较慢的，已经将wiki.zh.txt上传云盘，并且被压缩：
链接：https://pan.baidu.com/s/1g7d87ztvAdr8CZd2rCnvOg 提取码：42x5
3）中文繁体转简体
Wiki中文语料中包含了很多繁体字，需要转成简体字再进行处理，这里使用到了OpenCC工具进行转换
安装OpenCC：下载对应版本的OpenCC，https://bintray.com/package/files/byvoid/opencc/OpenCC，本人选择的是win 64位
下载解压后，在wiki中文语料的word2vec模型构建文件夹下打开dos窗口：
opencc -i wiki.zh.txt -o wiki.zh.simp.txt -c t2s.json #注意可以添加上opencc的绝对路径，t2s.json也要加绝对路径
则会得到文件wiki.zh.simp.txt，即转成了简体的中文，由于文件过大，无法直接打开查看，我们使用代码查看前2行：
import codecs,sys
i = 0
f = codecs.open('wiki.zh.txt','r',encoding="utf-8")
for eachline in f:
i += 1
if (i < 3):
print(eachline)
else:
break
可以看出有很多繁体字：
我们再来看看繁体转简体后：
import codecs,sys
i = 0
f = codecs.open('wiki.zh.simp.txt','r',encoding="utf-8")
for eachline in f:
i += 1
if (i < 3):
print(eachline)
else:
break
是不是都看懂了呢？
其中的wiki.zh.simp.txt简体文件以及被我压缩，并上传至云盘：
链接：https://pan.baidu.com/s/1Gx1iWORvKvmd5AzaZY3raw 提取码：45k5
4）jieba分词
本例中采用结巴分词对字体简化后的wiki中文语料数据集进行分词。由于此语料已经去除了标点符号，因此在分词程序中无需进行清洗操作，可直接分词
若是自己采集的数据还需进行标点符号去除和去除停用词的操作
import jieba
import jieba.analyse
import codecs
def prepareData(sourceFile, targetFile):
f =codecs.open(sourceFile, 'r', encoding='utf-8')
target = codecs.open(targetFile, 'w', encoding='utf-8')
print( 'open source file: '+ sourceFile )
print( 'open target file: '+ targetFile )
lineNum = 0
for eachline in f:
lineNum += 1
if lineNum % 1000 == 0:
print('---processing ', sourceFile, lineNum,' article---')
seg_list = jieba.cut(eachline, cut_all=False)
line_seg = ' '.join(seg_list)
target.write(line_seg+ '\n')
print('---Well Done!!!---' * 4)
f.close()
target.close()
sourceFile = 'wiki.zh.simp.txt'
targetFile = 'wiki.zh.simp.seg.txt'
prepareData(sourceFile, targetFile)
查看分词结果文件-wiki.zh.simp.seg.txt
import codecs,sys
i = 0
f = codecs.open('wiki.zh.simp.seg.txt','r',encoding="utf-8")
for eachline in f:
i += 1
if (i < 3):
print(eachline)
else:
break
其中分词结果文件wiki.zh.simp.seg.txt已经被压缩并上传云盘：
链接：https://pan.baidu.com/s/15R75m5T2WlyjMagqkXbI6g 提取码：zr46
5）Word2Vec模型训练
分好词的文档即可进行word2vec词向量模型的训练了。文档较大，需要内存较大，具体Python代码实现如下所示：
import os
import sys
import logging
from gensim.models import Word2Vec
from gensim.models.word2vec import LineSentence
import multiprocessing
program = os.path.basename(sys.argv[0])
logger = logging.getLogger(program)
logging.basicConfig(format='%(asctime)s: %(levelname)s: %(message)s',level=logging.INFO)
logger.info("running %s" % ' '.join(sys.argv))
# inp为输入语料, outp1 为输出模型, outp2为原始c版本word2vec的vector格式的模型
inp = 'wiki.zh.simp.seg.txt'
outp1 = 'wiki.zh.text.model'
outp2 = 'wiki.zh.text.vector'
#训练skip-gram 模型
model = Word2Vec( LineSentence(inp), size=400, window=5, min_count=5, workers=multiprocessing.cpu_count() )
model.save(outp1)
model.wv.save_word2vec_format(outp2, binary=False)
摘取了最后几行代码运行信息，代码运行完成后得到如下四个文件，其中wiki.zh.text.model是建好的模型，wiki.zh.text.vector是词向量，是每个词对应的词向量，可以在此基础上作文本特征的提取以及分类
其中wiki.zh.text.mode和wiki.zh.text.vector文件已经上传云盘：
wiki.zh.text.mode：https://pan.baidu.com/s/1mlZ_5-mY3GerWnvYADt3sA 提取码：7p83
wiki.zh.text.vector：https://pan.baidu.com/s/16vEVQ79FkmVFwMPrA3G5mg 提取码：aaa5
6）模型测试
模型训练好后，来测试模型的结果
import warnings
warnings.filterwarnings(action='ignore', category=UserWarning, module='gensim')# 忽略警告
import sys
import gensim
model = gensim.models.Word2Vec.load('wiki.zh.text.model')
#与足球最相似的
word = model.most_similar("足球")
for each in word:
print(each[0], each[1])
print('*' * 20)
word = model.most_similar(positive=['皇上','国王'],negative=['皇后'])
for t in word:
print (t[0],t[1])
print(model.doesnt_match('太后 妃子 贵人 贵妃 才人'.split(' ')))
print('*' * 20)
print(model.similarity('书籍','书本'))
print('*' * 20)
print(model.similarity('逛街','书本'))
7）致谢
至此，使用python对中文wiki语料的词向量建模就全部结束了，wiki.zh.text.vector中是每个词对应的词向量，可以在此基础上作文本特征的提取以及分类
本文参考：https://github.com/AimeeLee77/wiki_zh_word2vec
感谢作者的分享，为后续情感分析打下了基础
