AI 前馈神经网络

前馈神经网络（Feedforward Neural Network，简称FNN），也叫多层感知机（Multilayer Perceptron，简称MLP）。FNN的目标是通过学习参数θ，得到最佳的函数y=f(x;θ)，例如分类器，输入x，输出类别y。

 

1、前馈

也叫前向，信息单向流动，从输入层到隐藏层（hidden layer），再从隐藏层到输出层，不存在从下一层到上一层的反向流动。有反馈（feedback）连接的叫做循环神经网络。卷积神经网络是一种特殊的前馈神经网络。 

 

2、反向传播（back propagation）

简称backprop，计算梯度 

计算图（computational graph）

前向传播（forward propagation）

 

激活函数（activation function）

sigmoid函数

 

 

 

softmax函数

 

ReLU（rectified linear unit），整流线性单元

 

 

全连接

超平面

 

权值矩阵

 

高阶微分

 

隐藏单元

 

Krylov方法 

 

参考链接：

https://www.zhihu.com/question/22334626

http://deeplearning.stanford.edu/wiki/index.php/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C

http://xiaosheng.me/2017/05/05/article56/

https://zhuanlan.zhihu.com/p/45190898