摘要: 主要两个方面 Probabilistic modeling 概率建模,神经网络模型尝试去预测一个概率分布 Cross-entropy作为误差函数使得我们可以对于观测到的数据 给予较高的概率值 同时可以解决saturation的问题 前面提到的线性隐层的降维作用(减少训练参数) 这是一个最初版的神经网络语言模型 选取什么要的loss function,为什么用cro... 阅读全文
posted @ 2015-12-16 20:18 阁子 阅读(14028) 评论(0) 推荐(0) 编辑
摘要: workers = [] for _ in xrange(opts.concurrent_steps): t = threading.Thread(target=self._train_thread_body) t.start() workers.append(t) Word2vec.py使用了多线程 一般认为py... 阅读全文
posted @ 2015-12-16 20:17 阁子 阅读(1937) 评论(0) 推荐(0) 编辑
摘要: opts = Options() with tf.Graph().as_default(), tf.Session() as session: model = Word2Vec(opts, session) if FLAGS.interactive: #print('load model from file %s %s', opts.save_path, os.p... 阅读全文
posted @ 2015-12-16 20:17 阁子 阅读(3196) 评论(0) 推荐(0) 编辑