2016年9月3日
DL4NLP——词表示模型（三）word2vec（CBOW/Skip-gram）的加速：Hierarchical Softmax与Negative Sampling
摘要： 上篇博文提到，原始的CBOW / Skip-gram模型虽然去掉了NPLM中的隐藏层从而减少了耗时，但由于输出层仍然是softmax()，所以实际上依然“impractical”。所以接下来就介绍一下如何对训练过程进行加速。 paper中提出了两种方法，一种是Hierarchical Softmax 阅读全文
posted @ 2016-09-03 01:10 Determined22 阅读(20318) 评论(3) 推荐(2) 编辑