前馈网络

前馈神经网络(Feed-forward Neural Networks)，又称多层感知机（MLP）。

收到生物神经科学的启发，是深度学习中的重要组成部分。它是一个函数\(f(\cdot)\)，接收输入\(x\)，输出结果\(y\)。

神经网络中最基本的单位就是神经元，它将前一层网络中所有神经元的输出作为输入，分别乘上一个权重，加和后给一个阈值，输出0或1代表这个神经元是否被激活，但这样的话函数无法训练，所以就将其变为一个软性的阈值，比如sigmiod函数，这样的变化函数称为非线性函数，也叫激活函数，一般我们吧激活函数也包含在神经元中。

前馈神经网络由多层神经元组成，第一层和最后一层称为输入层和输出层，中间层称为隐藏层。输入数据经过神经网络逐层向前计算，最后的神经元得到每个类别的概率。

之所以称为“前馈”，是因为神经元没有反馈连接，完全服从从输入层到输出层的逐层前向传播。如果神经元有反馈连接，则称之为循环神经网络。