一唯绛

摘要： 在《神经网络的梯度推导与代码验证》之LSTM的前向传播和反向梯度推导 中，我们学习了LSTM的前向传播和反向梯度求导，但知识仍停留在纸面。本篇章将基于深度学习框架tensorflow验证我们所得结论的准确性，以便将抽象的数学符号和实际数据结合起来，将知识固化。更多相关内容请见《神经网络的梯度推导与代 阅读全文

摘要： 前言 在本篇章，我们将专门针对LSTM这种网络结构进行前向传播介绍和反向梯度推导。 关于LSTM的梯度推导，这一块确实挺不好掌握，原因有： 一些经典的deep learning 教程，例如花书缺乏相关的内容 一些经典的论文不太好看懂，例如On the difficulty of training R 阅读全文

摘要： 在《神经网络的梯度推导与代码验证》之vanilla RNN的前向传播和反向梯度推导中，我们学习了vanilla RNN的前向传播和反向梯度求导，但知识仍停留在纸面。本篇章将基于深度学习框架tensorflow验证我们所得结论的准确性，以便将抽象的数学符号和实际数据结合起来，将知识固化。更多相关内容请 阅读全文

摘要： 在本篇章，我们将专门针对vanilla RNN，也就是所谓的原始RNN这种网络结构进行前向传播介绍和反向梯度推导。更多相关内容请见《神经网络的梯度推导与代码验证》系列介绍。 注意： 本系列的关注点主要在反向梯度推导以及代码上的验证，涉及到的前向传播相对而言不会做太详细的介绍。 反向梯度求导涉及到矩阵 阅读全文

摘要： 在《神经网络的梯度推导与代码验证》之CNN的前向传播和反向梯度推导 中，我们学习了CNN的前向传播和反向梯度求导，但知识仍停留在纸面。本篇章将基于深度学习框架tensorflow验证我们所得结论的准确性，以便将抽象的数学符号和实际数据结合起来，将知识固化。更多相关内容请见《神经网络的梯度推导与代码验 阅读全文

摘要： 在FNN（DNN）的前向传播，反向梯度推导以及代码验证中，我们不仅总结了FNN（DNN）这种神经网络结构的前向传播和反向梯度求导公式，还通过tensorflow的自动求微分工具验证了其准确性。在本篇章，我们将专门针对CNN这种网络结构进行前向传播介绍和反向梯度推导。更多相关内容请见《神经网络的梯度推 阅读全文

摘要： 在《神经网络的梯度推导与代码验证》之FNN（DNN）的前向传播和反向梯度推导中，我们学习了FNN（DNN）的前向传播和反向梯度求导，但知识仍停留在纸面。本篇章将基于深度学习框架tensorflow验证我们所得结论的准确性，以便将抽象的数学符号和实际数据结合起来，将知识固化。更多相关内容请见《神经网络 阅读全文

摘要： 在《神经网络的梯度推导与代码验证》之数学基础篇：矩阵微分与求导中，我们总结了一些用于推导神经网络反向梯度求导的重要的数学技巧。此外，通过一个简单的demo，我们初步了解了使用矩阵求导来批量求神经网络参数的做法。在本篇章，我们将专门针对DNN/FNN这种网络结构进行前向传播介绍和反向梯度推导。更多相关 阅读全文

摘要： 本内容为神经网络的梯度推导与代码验证系列内容的第一章，更多相关内容请见《神经网络的梯度推导与代码验证》系列介绍。 目录 1.1 数学符号 1.2 矩阵导数的定义和布局 1.3 矩阵求导的优势 1.4 矩阵微分与矩阵求导 1.5 矩阵微分性质归纳 1.6 标量对矩阵/向量的导数求解套路-迹技巧 1.7 阅读全文

摘要： 前言 本系列文章要解决的主要问题是剖析清各种经典的神经网络结构（FNN，CNN，vanilla RNN以及LSTM）的前向传播与反向梯度求导，并在常用的深度学习框架中验证其结论的准确性。希望通过这些工作让自己对经典的神经网络结构以及深度学习框架有更深的理解。 本系列的主要内容编排如下： 数学知识准备 阅读全文