摘要： 1.基础模型basic model 以翻译为例，将如下一句法文翻译成英文，输入是法文的每个单词，输出是英文的每个单词，分别用$x^{},y^{}$表示： 如何构建一个模型，使得输入法文序列的词，输出英文序列的词呢？接下去要介绍的知识与思想主要来自于这两篇论文： （1）首先建立一个网络，称之为 enc 阅读全文

摘要： 1.词汇表征 1.1 one hot词编码的缺陷 回顾上一节的词向量表示方式：one hot编码。即根据拥有的尽可能多的语料，整理一份词典，词典长度为n，使得每个词对应一个n 1的词向量，其中该词索引所在的位置为1，其余位置为0. 比如，如下图，woman这个词在索引为9853的位置上是1，其余位置 阅读全文