摘要：
RNN的符号表示，序列样本，序列内部表示，生成y表示，Tx表示输入长度，Ty表示输出长度。 用到的one-hot编码 RNN的动机来源：1、原始的神经网络，输入输出都是一个固定长度，但是序列是不定长度的，所以有了水平的时间方向的RNN 2、原始的神经网络没有体现出句子中位置的关系 如下图，左边是简单 阅读全文
摘要：
1、onehot 缺点：词之间没有关联，泛化性差 2、高维特征表示：每词由300维的特征表示，能够获取词之间的相似性关系。更好。 学习词嵌入，可以迁移学习，可以小样本 在训练集中找相似特征的进行归纳。 一般词嵌入，使用双向ＲＮＮ 词嵌入，找网上模型然后少量训练标记进行迁移学习，可以使用比1-hot更 阅读全文
摘要：
RNN新生成序列采样，这样做的动机：因为要看训练好的模型不知道在那些方面表现的好，具体来分析，便于进一步改进模型。数学角度说，就是检查训练好的数据分布是怎样的。 具体来说： １、按照生成模型那样，先生成第一个单词，softmax分布进行随机抽选，第二个词在第一个词的基础上进行生成，第三个在前两个词的 阅读全文