该文被密码保护。 阅读全文
摘要:
1. LSTM原理 由我们所了解的RNN可知,RNN结构之所以出现梯度爆炸或者梯度消失,最本质的原因是因为梯度在传递过程中存在极大数量的连乘,为此有人提出了LSTM模型,它可以对有价值的信息进行记忆,放弃冗余记忆,从而减小学习难度。 与RNN相比,LSTM的神经元还是基于输入X和上一级的隐藏层输出h 阅读全文
摘要:
具体参考https://www.jianshu.com/p/43de93347ef2 阅读全文
摘要:
如果你需要和图数据(Graph Data)打交道,那么你一定听说过PageRank。PageRank和其后续算法有着广泛的应用场景,包括推荐系统、反垃圾网页算法、交通规划、复杂系统故障分析等等。毫无疑问,PageRank的成功有很大一部分要归功于Google在商业上的成功。但另一方面,PageRan 阅读全文
摘要:
在数据挖掘或者信息检索的相关资料里,经常会用到PMI(Pointwise Mutual Information)这个指标来衡量两个事物之间的相关性。PMI的定义如下: 这个定义所体现的原理其实是相当直白的。在概率论中,我们知道,如果x跟y不相关,则 P(x,y) = P(x)P(y)。二者相关性越大 阅读全文
摘要:
Transductive Learning:从彼个例到此个例,有点象英美法系,实际案例直接结合过往的判例进行判决。关注具体实践。 Inductive Learning:从多个个例归纳出普遍性,再演绎到个例,有点象大陆法系,先对过往的判例归纳总结出法律条文,再应用到实际案例进行判决。从有限的实际样本中 阅读全文
摘要:
本论文是一篇介绍使用CNN对句子进行分类的论文。本文将介绍使用TensorFlow来实现整个论文的实验过程,一方面熟悉使用TensorFlow API,另一方面加深对CNN在NLP上的应用理解。 对于文本分类问题,常规方法就是抽取文本的特征,使用doc2evc或者LDA模型将文本转换成一个固定维度的 阅读全文
摘要:
一. TextCNN 是什么 我们之前提前CNN时,通常会认为是属于CV领域,用于计算机视觉方向的工作,但是在2014年,Yoon Kim针对CNN的输入层做了一些变形,提出了文本分类模型textCNN。与传统图像的CNN网络相比, textCNN 在网络结构上没有任何变化(甚至更加简单了), 从图 阅读全文
摘要:
与 LDA 假设不同,BTM 模型假设每个biterm 中的两个词汇均是采样于一个主题 z,而每个主题是关于词汇的多项式分布。该模型示意图如下 BTM 于LDA的不同在于,LDA是document-level,BTM是corpus-level,LDA 计算的是topic-document-word的 阅读全文