神经网络(一)：前向神经网络(FP)
1.相关概念
神经网络(Neural Network)本质是一个非线性分类器（可以是二分类或多分类），适用于样本特征维度很高，并且非线性可分时。
【神经网络最终输出是一个复杂的非线性预测函数，可视化为高维空间中的一个复杂的非线性边界】
【神经网络的训练过程就是根据输入样本(xi,yi)拟合出权重参数，模型训练的最终结果是得到权重参数weight】
非线性边界示意图
简单前向传播神经网络示意图
神经网络的结构(architecture)：输入层，隐藏层(1或多层)，输出层相关参数
输入层：样本特征
隐藏层：通过非线性函数构造的复杂特征
输出层：分类结果【如果是sigmoid函数的话，则输出属于某一种类的概率值。】
偏置(bias)：除了输出层之外，输入层和隐藏层都有一个偏置项a0。
权重系数矩阵(weights/parameter matrix)：注意维度为 (Sj+1 x Sj+1)。
激励函数(activation function)：神经网络中应用的非线性函数：可以是relu(),sigmoid()...【sigmoid也叫 logistic function】
【神经网络模型和logistic回归的联系：当所用的函数时sigmoid函数时，第j+1层中单个神经元的计算相当于一次logistic回归。神经网络的进步之处在于在一层中构造多个复杂特征，并可以有多层。神经网络的代价函数是logistic回归的代价函数的一般化】
前向传播步骤：
2.相关公式及向量表示
1)代价函数：
logistic regression:
neural network:
【 
】
2) 多分类输出yi的表示形式：向量
3.简单例子（python/matlab，开源框架）
1) AND、(NOTx1)AND(NOTx2)、OR=> XNOR 【简单例子说明复杂特征的构造】
2) 书写数字识别
3) 计算机视觉识别道路不同对象（行人、摩托、小轿车、大货车）【多元分类问题】
参考资料：
1.吴恩达机器学习相关网站、视频及笔记
https://www.coursera.org/learn/machine-learning，斯坦福机器学习资料
2.B站前馈神经网络白板推导
