游园惊梦(https://github.com/chenghuige)

摘要： tensorflow可以很方便的添加用户自定义的operator(如果不添加也可以采用sklearn的auc计算函数或者自己写一个 但是会在python执行，这里希望在graph中也就是c++端执行这个计算) 这里根据工作需要添加一个计算auc的operator，只给出最简单实现，后续高级功能还是参考官方wiki https://www.tensorflow.org/versio... 阅读全文

摘要： binary安装(推荐) 注意需要能访问外网 Install pip (or pip3 for python3) if it is not already installed: # Ubuntu/Linux 64-bit$ sudo apt-get install python-pip python 阅读全文

摘要： 主要两个方面 Probabilistic modeling 概率建模，神经网络模型尝试去预测一个概率分布 Cross-entropy作为误差函数使得我们可以对于观测到的数据 给予较高的概率值 同时可以解决saturation的问题 前面提到的线性隐层的降维作用(减少训练参数) 这是一个最初版的神经网络语言模型 选取什么要的loss function，为什么用cro... 阅读全文

摘要： workers = [] for _ in xrange(opts.concurrent_steps): t = threading.Thread(target=self._train_thread_body) t.start() workers.append(t) Word2vec.py使用了多线程 一般认为py... 阅读全文

摘要： opts = Options() with tf.Graph().as_default(), tf.Session() as session: model = Word2Vec(opts, session) if FLAGS.interactive: #print('load model from file %s %s', opts.save_path, os.p... 阅读全文

摘要： 考虑不可分的例子 通过使用basis functions 使得不可分的线性模型变成可分的非线性模型 最常用的就是写出一个目标函数 并且使用梯度下降法 来计算 梯度的下降法的梯度计算 关于线性和非线性的隐层 非线性隐层使得网络可以计算更加复... 阅读全文

摘要： 这里做了一些小的修改，感谢谷歌rd的帮助，使得能够统一处理dense的数据，或者类似文本分类这样sparse的输入数据。后续会做进一步学习优化，比如如何多线程处理。具体如何处理sparse 主要是使用embedding_lookup_sparse，参考https://github.com/tenso... 阅读全文

摘要： Word2vec 更完整版本(非demo)的代码在 tensorflow/models/embedding/ 首先需要安装bazel 来进行编译 bazel可以下载最新的binary安装文件，这里下载0.1.0版本的bazel https://github.com/bazelbuild/bazel/releases/download/0.1.0/bazel-0.1.0-i... 阅读全文

摘要： 只是简单demo， 可以看出tensorflow非常简洁，适合快速实验 import tensorflow as tf import numpy as np import melt_dataset import sys from sklearn.metrics import roc_auc_score def init_weights(shape): return... 阅读全文

摘要： 首先 实现一个尽可能少调用tf.nn模块儿的，自己手写相关的function import tensorflow as tf import numpy as np import melt_dataset import sys from sklearn.metrics import roc_auc_score def init_weights(shape): retu... 阅读全文