摘要：
使用矩阵求导术的一些推到，示例 阅读全文
摘要：
深度学习我认为最核心的被部分，是求导，更新的这个过程！ 这里涉及的矩阵求导，我觉得很复杂，看了很多的方法，记忆法则，真的是越看越不懂！ 清华那本书，也是太庞大了。 学习大佬这个矩阵求导术方法，矩阵求导，算法推理，真的是迎刃而解！非常的nice。 感谢大佬。 这里贴上图片，以防各种原因，丢失 原文知乎 阅读全文
摘要：
注意力seq2seq模型 大部分的seq2seq模型，对所有的输入，一视同仁，同等处理。 但实际上，输出是由输入的各个重点部分产生的。 比如： （举例使用，实际比重不是这样） 对于输出“晚上”， 各个输入所占比重: 今天 50%，晚上 50%，吃 100%，什么 0% 对于输出“吃”， 各个输入所占 阅读全文
摘要：
在做seq2seq的时候，经常需要使用sequence_loss这是损失函数。 现在分析一下sequence_loss这个函数到底在做什么 求loss值 $$ logits=\left[\begin{matrix} [1.0, 2.0] & [1.0, 2.0] \cr [1.0, 2.0] & [ 阅读全文