摘要：
简单demo的代码路径在tensorflow\tensorflow\g3doc\tutorials\word2vec\word2vec_basic.py Sikp gram方式的model思路 http://tensorflow.org/tutorials/word2vec/index.md 另外可以参考cs224d课程的课件。 窗口设置为左右1个词 对应... 阅读全文
摘要：
CSC321 Winter 2015: Introduction to Neural Networks 来自 http://www.cs.toronto.edu/~rgrosse/csc321/lec6.pdf ppt较为简洁明了 CS224d: Deep Learning for Natural Language Processing 来自 http://c... 阅读全文
摘要：
稀疏矩阵有多种表示方法 Compressed Row Storage 来自 矩阵向量乘法效率较低 这个比较好理解， val: 非0的val按照行顺序排列 col_ind: 列索引 10这个val是第一列 -2对应第5 列 val(a_ij)对应col_ind(j) 如何表示出行信息？ Row_ptr(1) = 1 表... 阅读全文
摘要：
先采用一个简单的输入文本做测试 [root@cq01-forum-rstree01.cq01.baidu.com rnnlm]# pwd /home/users/chenghuige/rsc/app/search/sep/anti-spam/rnnlm [root@cq01-forum-rstree01.cq01.baidu.com rnnlm]# cat shijiebei2.txt 喜欢 ... 阅读全文
摘要：
也就是构造一棵Huffman Tree，输入是按照词汇频次由高到低排序的 采用层次SoftMax的做法，是为了使得训练和预测时候的softmax输出加速，原有multinomal softmax，是和 训练词汇量|V|成正比的，而现在由于二叉树的特性，变成了log(|V|),也就是平均每个预测只做log(|V|）次 的binary的softmax。当然还有另外一种不采用HSTree的方法也... 阅读全文
摘要：
https://github.com/yandex/faster-rnnlm Gdb ./rnnlm r -rnnlm model-good.faster -train thread.title.good.train.txt -valid thread.title.good.valid.txt -hidden 5- -direct-order 3 -direct 200 -bptt 4 ... 阅读全文
摘要：
如何评估语言模型 (>) Perplexity 一个语言模型表现更好好就是说它在测试集合表现更好，也就是说使得测试数据能有更高产生概率(assign a higher score to test data) 在这个基础上表征了这一特征，perplextiy越低则表示测试数据产生概率越高。 N起归一作用，在这里避免了长度偏见，较长句子会使得概率较小一些。 考虑 I... 阅读全文
摘要：
Convolution: 在了解convolution前，先认识下为什么要从全部连接网络发展到局部连接网络。在全局连接网络中，如果我们的图像很大，比如说为96*96，隐含层有要学习100个特征，则这时候把输入层的所有点都与隐含层节点连接，则需要学习10^6个参数，这样的话在使用BP算法时速度就明显慢... 阅读全文
摘要：
在stl中map,set内部都是使用相同的红黑树实现，map对应模板参数key_type,mapped_type,而set对应模板参数没有mapped_type 两者都支持insert操作 pair insert(const value_type& value); 对于map typedef pair value_type; 对于set typdef key_type... 阅读全文
摘要：
这个可以参考effective c++http://www.cppblog.com/tiandejian/archive/2011/12/25/epp_35.html 这里给出一个测试程序 对比了3种不同实现方案的效率，这三种方案的效果是等价的 1.使用虚函数 2.使用std::function3.... 阅读全文