使用GloVe(c语言版)训练自定义语料
1.准备语料
将分好词的语料保存为×××.txt
2.准备源码
下载地址:https://github.com/stanfordnlp/GloVe,解压后将语料×××.txt添加到GloVe-master文件夹下
3.修改训练语料地址
打开demo.sh文件,由于默认是下载TXT8作为语料,故将这段代码删除,并修改CORPUS=×××.txt,最终文件内容如下:
其他应该都可以自行修改。
4.执行
打开终端,进入GloVe-master文件后:
(1)make
(2)./demo.sh
5.修改词向量文件
训练后会得到vetors.txt,打开后在第一行加上vacob_size vector_size,这样才能用word2vec的load函数加载成功
vacob_size vector_size可在训练时看到:
6.加载使用巽寮的词向量
1 from gensim.models import Word2Vec 2 3 model = Word2Vec.load_word2vec_format(‘vectors.txt’, binary=False)
接下来的使用就和word2vec一样