摘要：
Transformer是Google提出的用来解决LSTM建模长期依赖乏力的问题全新架构模型，同时其网络架构的设计全部考虑如何并... 阅读全文
摘要：
BERT自从被提出之后，因为其开源且表现及其优异，工业界开始广泛采用Bert来完成各项NLP的任务。一般来说，Bert都能给我们... 阅读全文
摘要：
首先，基本的Memorry Network中是使用sentence(passage)来构造memory，然后计算和query的匹... 阅读全文
Deep Mask Memory Network with Semantic Dependency and Context Moment for Aspect Level Sentiment Clas
摘要：
这篇博文是Deep Memory Network在Aspect Based Sentiment方向上的应用的一部分，如果你已经熟... 阅读全文
摘要：
前面的博文Deep Memory Network 深度记忆网络已经非常详细地介绍了该种网络架构，下面我们来研究一下其在基于方面的... 阅读全文
摘要：
RNN解决长期依赖的能力随着文本长度的增加越来越差，attention机制是解决这种问题的一种思路，今天我们再来看另外一种思路，... 阅读全文
摘要：
self attention是提出Transformer的论文《Attention is all you need》中提出的一种... 阅读全文
摘要：
本篇博文介绍的Attention，全部是Seq2Sqeq的attention机制的变种，本质上也还是Seq2Seq的attent... 阅读全文
摘要：
策略梯度算法(PG) 策略梯度迭代，通过计算策略梯度的估计，并利用随机梯度上升算法进行迭代。其常用的梯度估计形式为： ... 阅读全文
摘要：
常见的policy gradient算法，写出来挺简单的，但是有一个复杂的推导过程，这里就略去了。 Vanilla Poli... 阅读全文