12 2015 档案
摘要：主要两个方面 Probabilistic modeling 概率建模，神经网络模型尝试去预测一个概率分布 Cross-entropy作为误差函数使得我们可以对于观测到的数据 给予较高的概率值 同时可以解决saturation的问题 前面提到的线性隐层的降维作用(减少训练参数) 这是一个最初版的神经网络语言模型 选取什么要的loss function，为什么用cro...
阅读全文
摘要：workers = [] for _ in xrange(opts.concurrent_steps): t = threading.Thread(target=self._train_thread_body) t.start() workers.append(t) Word2vec.py使用了多线程 一般认为py...
阅读全文
摘要：opts = Options() with tf.Graph().as_default(), tf.Session() as session: model = Word2Vec(opts, session) if FLAGS.interactive: #print('load model from file %s %s', opts.save_path, os.p...
阅读全文
摘要：考虑不可分的例子 通过使用basis functions 使得不可分的线性模型变成可分的非线性模型 最常用的就是写出一个目标函数 并且使用梯度下降法 来计算 梯度的下降法的梯度计算 关于线性和非线性的隐层 非线性隐层使得网络可以计算更加复...
阅读全文
