1、条件随机场:它基于马尔科夫随机场,是一种无向概率图模型,它的最大团所对应的随机变量的条件概率分布叫做条件随机场,通过转移概率和发射概率求解条件分布概率的。
公式:
2、Wordvec输出层的优化:
(1)哈夫曼树:从根节点求取叶子节点路径的最大概率
(2)负例采样:根据词频与整数集合的映射,选负样本(词频越高,被选中负样本的概率就越大)