摘要：
这篇文章主要整理三部分内容，一是常见的三种神经网络结构：前馈神经网络、反馈神经网络和图网络；二是整理前馈神经网络中正向传播、误差反向传播和梯度下降的原理；三是梯度消失和梯度爆炸问题的原因及解决思路。 一、神经网络结构 目前比较常用的神经网络结构有如下三种： 1、前馈神经网络 前馈神经网络中，把每个神 阅读全文
摘要：
深层神经网络的参数学习主要通过梯度下降法来寻找一组可以最小化结构风险的参数。在具体实现中，梯度下降法可以分为：批量梯度下降、随机梯度下降和小批量梯度下降三种形式。 而对于这三种梯度下降的方法，又可以从调整学习率、调整负梯度两个方向来进行改进，比如RMSprop，Momentum和Adam。 这里介绍 阅读全文