摘要：
注意力机制的原理和实现 在Attention出来之前，以前人们使用RNN和CNN来获得语义信息，但是RNN需要逐步递归才可以获得全局的信息，而通过滑动窗口进行编码的CNN，更侧重于捕获局部信息，难以建模长距离的语义依赖。Attention可以使得每个词具有上下文的语义信息。 1、原理 Attenti 阅读全文
摘要：
自然语言处理概述 以前的自然语言大多数停留在去根据业务来编写相应的规则来解决实际的问题，但是仅仅靠手工编写的规则是无法覆盖全部的内容，而且不同的规则之间也具有一定的矛盾，随着统计学的发展，人们逐渐的用统计的思想去解决一些实际的问题，例如马尔可夫假设，即一个词语出现的概率取决于它前面出现的所有词，但是 阅读全文