04 2019 档案
摘要：一、seq2seq架构图 seq2seq模型左边绿色的部分我们称之为encoder，左边的循环输入最终生成一个固定向量作为右侧的输入，右边紫色的部分我们称之为decoder。单看右侧这个结构跟我们之前学习的语言模型非常相似，如下： 唯一不同的是，语言模型的输入a<0>是一个零向量，而seq2seq模
阅读全文
摘要：一、LSTM架构与公式 这里的a<t>表示的就是原始输出，y<t>表示的就是经过softmax的输出，c<t>相当于状态。u(update)代表是输入门，f代表遗忘门，o(output)代表输出门。 上图就是串联起来的结构，从图中我们可以看出，如果门控设置比较合理的话，c<0>从左到右是可以一直传递
阅读全文
摘要：一、RNN基本结构 普通神经网络不能处理时间序列的信息，只能割裂的单个处理，同时普通神经网络如果用来处理文本信息的话，参数数目将是非常庞大，因为如果采用one-hot表示词的话，维度非常大。 RNN可以解决这两个问题： 1）RNN属于循环神经网络，当从左到右读取文本信息的时候，上一时刻的状态输出可以
阅读全文
摘要：具体来说，对话系统大致可分为两种: (1)任务导向型（task-oriented)对话系统和 (2)非任务导向型(non-task-oriented)对话系统(也称为聊天机器人)。 (1)任务导向型（task-oriented)对话系统和 (2)非任务导向型(non-task-oriented)对话
阅读全文
摘要：参考链接：https://blog.csdn.net/yanqianglifei/article/details/82885477 https://blog.csdn.net/qq_37053885/article/details/79325892
阅读全文
