11 2015 档案

Tensorflow二分类处理dense或者sparse(文本分类)的输入数据
摘要：这里做了一些小的修改，感谢谷歌rd的帮助，使得能够统一处理dense的数据，或者类似文本分类这样sparse的输入数据。后续会做进一步学习优化，比如如何多线程处理。具体如何处理sparse 主要是使用embedding_lookup_sparse，参考https://github.com/tenso... 阅读全文
posted @ 2015-11-30 20:08 阁子 阅读(10588) 评论(1) 推荐(1)
Tensorflow word2vec编译运行
摘要：Word2vec 更完整版本(非demo)的代码在 tensorflow/models/embedding/ 首先需要安装bazel 来进行编译 bazel可以下载最新的binary安装文件，这里下载0.1.0版本的bazel https://github.com/bazelbuild/bazel/releases/download/0.1.0/bazel-0.1.0-i... 阅读全文
posted @ 2015-11-27 15:59 阁子 阅读(3150) 评论(0) 推荐(0)
Tensorflow mlp二分类
摘要：只是简单demo， 可以看出tensorflow非常简洁，适合快速实验 import tensorflow as tf import numpy as np import melt_dataset import sys from sklearn.metrics import roc_auc_score def init_weights(shape): return... 阅读全文
posted @ 2015-11-21 19:31 阁子 阅读(3844) 评论(0) 推荐(0)
Tensorflow 实现稠密输入数据的逻辑回归二分类
摘要：首先 实现一个尽可能少调用tf.nn模块儿的，自己手写相关的function import tensorflow as tf import numpy as np import melt_dataset import sys from sklearn.metrics import roc_auc_score def init_weights(shape): retu... 阅读全文
posted @ 2015-11-21 16:41 阁子 阅读(8388) 评论(0) 推荐(0)
Tensorflow 的Word2vec demo解析
摘要：简单demo的代码路径在tensorflow\tensorflow\g3doc\tutorials\word2vec\word2vec_basic.py Sikp gram方式的model思路 http://tensorflow.org/tutorials/word2vec/index.md 另外可以参考cs224d课程的课件。 窗口设置为左右1个词 对应... 阅读全文
posted @ 2015-11-19 10:24 阁子 阅读(13118) 评论(1) 推荐(1)
深度学习课程部分资料整理
摘要：CSC321 Winter 2015: Introduction to Neural Networks 来自 http://www.cs.toronto.edu/~rgrosse/csc321/lec6.pdf ppt较为简洁明了 CS224d: Deep Learning for Natural Language Processing 来自 http://c... 阅读全文
posted @ 2015-11-13 17:43 阁子 阅读(654) 评论(0) 推荐(0)
稀疏矩阵表示
摘要：稀疏矩阵有多种表示方法 Compressed Row Storage 来自 矩阵向量乘法效率较低 这个比较好理解， val: 非0的val按照行顺序排列 col_ind: 列索引 10这个val是第一列 -2对应第5 列 val(a_ij)对应col_ind(j) 如何表示出行信息？ Row_ptr(1) = 1 表... 阅读全文
posted @ 2015-11-13 15:51 阁子 阅读(1141) 评论(0) 推荐(0)
Faster-rnnlm代码分析3 - EvaluateLM(前向计算ForwardPropagate)
摘要：先采用一个简单的输入文本做测试 [root@cq01-forum-rstree01.cq01.baidu.com rnnlm]# pwd /home/users/chenghuige/rsc/app/search/sep/anti-spam/rnnlm [root@cq01-forum-rstree01.cq01.baidu.com rnnlm]# cat shijiebei2.txt 喜欢 ... 阅读全文
posted @ 2015-11-10 15:51 阁子 阅读(1728) 评论(0) 推荐(0)
Faster-rnnlm代码分析2 - HSTree的构造
摘要：也就是构造一棵Huffman Tree，输入是按照词汇频次由高到低排序的 采用层次SoftMax的做法，是为了使得训练和预测时候的softmax输出加速，原有multinomal softmax，是和 训练词汇量|V|成正比的，而现在由于二叉树的特性，变成了log(|V|),也就是平均每个预测只做log(|V|）次 的binary的softmax。当然还有另外一种不采用HSTree的方法也... 阅读全文
posted @ 2015-11-09 16:09 阁子 阅读(1022) 评论(0) 推荐(0)
Faster-rnnlm代码分析1 - 词表构建,Nnet成员
摘要：https://github.com/yandex/faster-rnnlm Gdb ./rnnlm r -rnnlm model-good.faster -train thread.title.good.train.txt -valid thread.title.good.valid.txt -hidden 5- -direct-order 3 -direct 200 -bptt 4 ... 阅读全文
posted @ 2015-11-08 14:42 阁子 阅读(1232) 评论(1) 推荐(0)