NeuralAttentionModel

1.概述

　　A Neural Attention Model for Sentence Summarization是一个用于处理文本总结的模型，是基于seq2seq提出的，论文地址https://www.aclweb.org/anthology/D15-1044.pdf

2.模型

　　

 

3.模型公式

　　目标：

　　　　

 

　　x和yc编码的方式共三种

　　1).Bag-of-Words Encoder

　　　　

 

　　　　这是最简单的一种，其中F是待学习的参数

　　2).Convolutional Encoder

　　　　

 

　　　　其中F是embeding向量，Q是滑动窗口，公式5和公式6都是maxpooling

　　3).Attention-Based Encoder

　　　　

 

　　　　G是embeding值，Q为滑动窗口

4.损失函数