训练语料格式
语料需要处理为可迭代的列表见word2vec教程 语料处理,形成我们的参数“sentences”
模型训练
1.安装gensim
pip3.6 install gensim
gensim中封装了包括了word2vec, doc2vec等模型,word2vec采用了CBOW(Continuous Bag-Of-Words,连续词袋模型)和Skip-Gram两种模型。
2.模型训练
from gensim.models import Word2Vec model = Word2Vec(sentences, sg=1, size=100, window=5, min_count=5, negative=3, sample=0.001, hs=1, workers=4)
gensim参数解释
sentences:可以是一个list,对于大语料集,建议使用BrownCorpus,Text8Corpus或ineSentence构建。 sg: 用于设置训练算法,默认为0,对应CBOW算法;sg=1则采用skip-gram算法。 size:是指特征向量的维度,默认为100。大的size需要更多的训练数据,但是效果会更好. 推荐值为几十到几百。 window:表示当前词与预测词在一个句子中的最大距离是多少 alpha: 是学习速率 seed:用于随机数发生器。与初始化词向量有关。 min_count: 可以对字典做截断. 词频少于min_count次数的单词会被丢弃掉, 默认值为5 max_vocab_size: 设置词向量构建期间的RAM限制。如果所有独立单词个数超过这个,则就消除掉其中最不频繁的一个。每一千万个单词需要大约1GB的RAM。设置成None则没有限制。 sample: 高频词汇的随机降采样的配置阈值,默认为1e-3,范围是(0,1e-5) workers参数控制训练的并行数。 hs: 如果为1则会采用hierarchica·softmax技巧。如果设置为0(defau·t),则negative sampling会被使用。 negative: 如果>0,则会采用negativesamp·ing,用于设置多少个noise words cbow_mean: 如果为0,则采用上下文词向量的和,如果为1(defau·t)则采用均值。只有使用CBOW的时候才起作用。 hashfxn:hash函数来初始化权重。默认使用python的hash函数 iter: 迭代次数,默认为5 trim_rule:用于设置词汇表的整理规则,指定那些单词要留下,哪些要被删除。可以设置为None(min_count会被使用)或者一个接受()并返回RU·E_DISCARD,uti·s.RU·E_KEEP或者uti·s.RU·E_DEFAU·T的 sorted_vocab如果为1(defau·t),则在分配word index 的时候会先对单词基于频率降序排序。 batch_words:每一批的传递给线程的单词的数量,默认为10000 workers表示训练词向量时使用的线程数,默认是当前运行机器的处理器核数。还有关采样和学习率的,一般不常设置 from gensim.models import Word2Vec sentences = [["cat", "say", "meow"], ["dog", "say", "woof"]] #数据也可以时分好词的文档,按行读取 #sentences=word2vec.Text8Corpus("分词后文件.txt") model = Word2Vec(sentences, min_count=1) 详细请参考gensim的word2vec的官方说明,里面讲的很详细,不过常用到的参数就是上面介绍的。
3.模型保存
模型保存两种方式:
model = Word2Vec(common_texts, size=100, window=5, min_count=1, workers=4) model.save(path) 或者 model.wv.save(path) 两种的区别见3.1及3.2。 ps:model.save_word2vec_format("w2v_vector.bin", binary=False)这种方式是二进制保存,已经弃用改为 model.wv.save
3.1模型训练保存与加载1(模型可继续训练)
model.save(path) Word2Vec.load(path) 使用以下命令初始化模型 from gensim.test.utils import common_texts, get_tmpfile from gensim.models import Word2Vec path = get_tmpfile("word2vec.model") #创建临时文件 model = Word2Vec(sentences, size=100, window=5, min_count=1, workers=4) model.save("word2vec.model") #加载模型 model = Word2Vec.load("word2vec.model")
3.1.1模型继续训练
训练是流式的,这意味着句子可以是一个生成器,动态地从磁盘读取输入数据,而无需将整个语料库加载到RAM中。这也意味着您可以在以后继续培训模型: #训练模型 使用以下命令初始化模型 from gensim.test.utils import common_texts, get_tmpfile from gensim.models import Word2Vec path = get_tmpfile("word2vec.model") #创建临时文件 model = Word2Vec(sentences, size=100, window=5, min_count=1, workers=4) model.save("word2vec.model") #加载模型 model = Word2Vec.load("word2vec.model") #继续训练 model.train([["hello", "world"]], total_examples=1, epochs=1) #(0, 2) #调用模型 vector = model['computer'] # numpy vector of a word # 如果已经完成了模型的培训(即不再更新,只进行查询),可以切换到KeyedVectors实例 word_vectors = model.wv del model
3.2模型训练保存与加载2(模型不可继续训练)
from gensim.models import KeyedVectors model.wv.save(path) wv = KeyedVectors.load("model.wv", mmap='r') 要继续进行培训,需要save()存储的完整Word2Vec对象状态,而不仅仅是keyedvector。如果不需要继续训练模型,在加载时设置参数 model.wv.save(path) 以及 KeyedVectors.load("model.wv", mmap='r')分离训练向量到KeyedVectors,得到更小、更快的模型对象。 from gensim.models import KeyedVectors path = get_tmpfile("model.wv") model = Word2Vec(common_texts, size=100, window=5, min_count=1, workers=4) model.wv.save(path) wv = KeyedVectors.load("model.wv", mmap='r') vector = wv['computer'] # numpy vector of a word
如果从文件加载训练好的模型(人民日报词向量):
from gensim.models import KeyedVectors from gensim.test.utils import datapath model= KeyedVectors.load_word2vec_format(datapath('E:\Mypython3\wenshu_my\data_my\sgns.renmin.bigram-char'), binary=False) for key in model.similar_by_word('人民',topn=10): print(key) ('各族人民', 0.6978535652160645) ('人民大众', 0.6294125318527222) ('亿万人民', 0.6256287097930908) ('群众', 0.5972658395767212) ('民众', 0.567489504814148) ('城乡人民', 0.5603191256523132) ('广大群众', 0.5412135124206543) ('新疆各族人民', 0.5377484560012817) ('百姓', 0.5321395993232727) ('劳苦大众', 0.530288577079773)
gensim官网例子训练一个完整的模型,然后访问它的模型。wv属性,它包含独立键控向量。例如,使用Word2Vec算法来训练向量
from gensim.test.utils import common_texts from gensim.models import Word2Vec model = Word2Vec(common_texts, size=100, window=5, min_count=1, workers=4) word_vectors = model.wv 将单词vector保存到磁盘 from gensim.test.utils import get_tmpfile from gensim.models import KeyedVectors fname = get_tmpfile("vectors.kv") word_vectors.save(fname) word_vectors = KeyedVectors.load(fname, mmap='r') 这些向量还可以从磁盘上的现有文件实例化,以原始谷歌的word2vec C格式作为KeyedVectors实例 from gensim.test.utils import datapath wv_from_text = KeyedVectors.load_word2vec_format(datapath('word2vec_pre_kv_c'), binary=False) # C text format wv_from_bin = KeyedVectors.load_word2vec_format(datapath("euclidean_vectors.bin"), binary=True) # C binary format
这篇博客讲的比较细致,简单的例子见https://blog.csdn.net/shuihupo/article/details/85226128 python训练work2vec词向量实例
work2vec词向量使用汇总(词语相似度、集合相似度、词向量计算等)
在已经获取模型的前提下可以进行:
1.获取每个词的词向量
model['computer'] # raw numpy vector of a word
2支持词语的加减运算。(实际中可能只有少数例子比较符合)
model.most_similar(positive=['woman', 'king'], negative=['man'])
3计算两个词之间的余弦距离
model.similarity("好", "还行")
4计算余弦距离最接近“word”的10个词,或topn个词
model.most_similar("word") model.similar_by_word('贪污', topn =100) 最接近的100个词
5计算两个集合之间的余弦似度
当出现某个词语不在这个训练集合中的时候,会报错 list_sim1 = model.n_similarity(list1, list2)
6.选出集合中不同类的词语
model.doesnt_match("breakfast cereal dinner lunch".split()) #使用以下命令初始化模型 from gensim.test.utils import common_texts, get_tmpfile from gensim.models import Word2Vec path = get_tmpfile("word2vec.model") #创建临时文件 model = Word2Vec(common_texts, size=100, window=5, min_count=1, workers=4) model.save("word2vec.model") #加载模型 model = Word2Vec.load("word2vec.model") --------------------- #获取每个词的词向量 model['computer'] # raw numpy vector of a word #输出array([-0.00449447, -0.00310097, 0.02421786, ...], dtype=float32) --------------------- # 支持词语的加减运算。(实际中可能只有少数例子比较符合) model.most_similar(positive=['woman', 'king'], negative=['man']) #输出[('queen', 0.50882536), ...] --------------------- #计算两个词之间的余弦距离 model.similarity("好", "还行") model.most_similar("人民")#计算余弦距离最接近“滋润”的10个词 for i in model.most_similar("人民"): print i[0],i[1] --------------------- #model.similar_by_word('人民',topn=100) 输出与“人民”相似的前100个词 for key in model.similar_by_word('人民',topn=10): print(key) for key in model.wv.similar_by_word('人民', topn =10): print(key) --------------------- #计算两个集合之间的余弦似度,当出现某个词语不在这个训练集合中的时候,会报错 list1 = [u'今天', u'我', u'很', u'开心'] list2 = [u'空气',u'清新', u'善良', u'开心'] list3 = [u'国家电网', u'再次', u'宣告', u'破产', u'重新'] list_sim1 = model.n_similarity(list1, list2) print (list_sim1) list_sim2 = model.n_similarity(list1, list3) print( list_sim2) 0.541874230659 0.13056320154 --------------------- #选出集合中不同类的词语 model.doesnt_match("breakfast cereal dinner lunch".split()) #输出'cereal' list = ['纽约', '北京', '上海', '西安'] print( model.doesnt_match(list)) list = ['纽约', '北京', '上海', '西瓜'] print(model.doesnt_match(list)) 纽约 西瓜