word2vec、seq2seq

tensorflow是google在2015年开源的深度学习框架

tf中有word2vec,seq2seq ，所以我这里先学习tensorflow，然后再实现word2vec和seq2seq

一、tensorflow

1.1 安装

win10,python3.5,记得安装 vc++ 看此blog http://blog.csdn.net/xukangmin/article/details/53415168

1.2学习

https://classroom.udacity.com/courses/ud730

二、word2vec

word2vec是Google的开源项目，用一个一层的神经网络(CBOW的本质)把one-hot形式的词向量映射为分布式形式的词向量，为了加快训练速度，用了Hierarchical softmax，negative sampling 等trick。

基础知识:

sigmod函数、Beyes公式、Huffman编码

sigmod函数：,定义域(-无穷，+无穷)，值域(0,1)

(2.1)

逻辑回归:

 

学习资料:

1.word2vec中的数学原理详解

https://wenku.baidu.com/view/042a0019767f5acfa1c7cd96.html

2.使用tf来实现word2vec

http://blog.csdn.net/u014595019/article/details/54093161

 

三、seq2seq

 结合word2vec与seq2seq:

word2vec 输出词向量模型

接下来:加载词向量，数据读入（初始化），建图训练，预测结果。

 

分batch 读入语料数据: