2019年1月10日
Hierarchical softmax(分层softmax)简单描述.
摘要： 最近在做分布式模型实现时,使用到了这个函数. 可以说非常体验非常的好. 速度非常快，效果和softmax差不多. 我们知道softmax在求解的时候，它的时间复杂度和我们的词表总量V一样O(V),是性线性的，从它的函数方程式中，我们也可以很容易得出: softmax: f(x) = e^x / su 阅读全文
posted @ 2019-01-10 15:55 龚细军 阅读(947) 评论(1) 推荐(1) 编辑