摘要：
介绍 cbow：上下文词向量求和，预测中心词 skip-gram：中心词预测上下文 优化 1、哈夫曼树 把常规的 softmax 优化为 哈夫曼softmax，优化的是每个样本在哈夫曼树上的路径概率 与样本无关。 2、负采样 对每一个正样本，按照词频构建负样本，构建二分类任务，梯度下降求解。 可以用 阅读全文
摘要：
基本概念 考虑 \(w1\) 和 \(w2\) 的共显频率，构建向量拟合共显频率，loss函数如下 \[ \sum_{w1,w2}{F(X_{ij})(w_i^T\hat{w_j} + b_i + \hat{b_j} - log(X_{ij}))^2} \] 最原始版本为单样本训练，即 bach_s 阅读全文