自然语言处理--Word2vec（一）
一、自然语言处理与深度学习
自然语言处理应用
深度学习模型
为什么需要用深度学习来处理呢
二、语言模型
1、语言模型实例:
机器翻译
拼写纠错 智能问答
1）机器翻译，比如要翻译高价，可能 P(high price) > P(large price)，然后得到的结果就是high price
2）拼写纠错，比如 fifteen minutes，P(about fifteen minutes from) > P(about fifteenminuets from)，一般时分开写的，如果合在一起则会纠正为分开书写
3）语言模型举例
我 今天 下午 打 篮球
p(S) = p(w1,w2,w3,w4,w5,...,wn)
= p(w1)p(w2|w1)p(w3|w1,w2) ... p(wn|w1,w2,...,wn-1)
上式中wi表示每个词
p(S)被称为语言模型，即用来计算一个句子概率的模型
2、语言模型存在哪些问题呢?
p(wi|w1,w2,...,wi-1) = p(w1,w2,...,wi-1,wi) / p(w1,w2,...,wi-1)
1）数据过于稀疏
2）参数空间太大
三、N-gram模型
假设下一个词的出现依赖它前面的一个词:
p(S)=p(w1)p(w2|w1)p(w3|w1,w2)...p(wn|w1,w2,...,wn-1)
=p(w1)p(w2|w1)p(w3|w2)...p(wn|wn-1)
假设下一个词的出现依赖它前面的两个词:
p(S)=p(w1)p(w2|w1)p(w3|w1,w2)...p(wn|w1,w2,...,wn-1)
=p(w1)p(w2|w1)p(w3|w1,w2)...p(wn|wn-1,wn-2)
举例：
I want english food
p( I want chinese food ) = P( want|I ) × P( chinese|want ) × P( food|chinese )
假设词典的大小是N，则模型参数的量级是 
四、词向量
五、神经网络模型
训练样本: 
，包括前n-1个词分别的向量,假定每个词向量大小m
投影层:(n-1)*m 首尾拼接起来的大向量
输出: 
表示上下文为 
时，下一个词恰好为词典中第i个词的概率
归一化: 
神经网络模型的优势
S1 = ‘’我 今天 去 网咖’’ 出现了1000次
S2 = ‘’我 今天 去 网吧’’ 出现了10次
对于S1和S2两句话其实表达的意思差不多的，但
对于N-gram模型: P(S1) >> P(S2)，一般会表述为S1
而神经网络模型计算的 P(S1) ≈ P(S2)
对于如下：
在神经网络中，只要语料库中出现其中一个，其他句子的概率也会相应的增大
六、Hierarchical Softmax
Hierarchical Softmax有两种模型，CBOW，Skip-gram
1、CBOW
CBOW 是 Continuous Bag-of-Words Model 的缩写，是一种根据上下文的词语预测当前词语的出现概率的模型
2、哈夫曼树
3、Logistic回归
4、CBOW模型推导
输入层是上下文的词语的词向量,在训练CBOW模型,词向量只是个副产品,确切来说,是CBOW模型的一个参数。训练开始的时候,词向量是个随机值,随着训练的进行不断被更新)。
投影层对其求和,所谓求和,就是简单的向量加法。
输出层输出最可能的w。由于语料库中词汇量是固定的|C|个,所以上述过程其实可以看做一个多分类问题。给定特征,从|C|个分类中挑一个。
5、Skip-gram模型
1）输入层不再是多个词向量，而是一个词向量
2）投影层其实什么事都没干，直接将输入层的词向量传递给输出层
七、负采样模型（Negative Sampling）
负样本那么多该如何选择呢？
对于一个给定的正样本（Context(w), w)，我们希望最大化
一般大多采用负采样模型来求解，因为Hierarchical softmax模型太过于复杂。
