02 人工神经网络的模型表示（假设）

• 神经网络的逻辑单元表示

        神经网络的每个逻辑单元，都是一个sigmoid函数。

        神经网络本质是这些神经元的堆叠

        输入层称为 input layer，输出层称为 output layer, 中间层称为 hidden layer

　　 是第 j 层的第 i 个神经元

　　控制着从 j 层到 j+1 层神经元的权重矩阵

• 神经网络的表示（假设）

　　第一层神经元的输出或者说是激励，计算方法如下。g(x)代表sigmoid函数

　　

　　矩阵的规模：如果第 j 层有 a 个神经元，第 j+1 层有 b 个神经元，则连接两层网络的神经元的数目是 b * ( a +1) 个，因为 j 层还有一个偏置输入X0 (bias input)，对于X0 也需要一个theta，所以神经元的数目是 b * ( a +1) 个。

• 前向传播的向量化计算

　　假设输入层为 x，x 可以表示为

　　z 表示线性计算的结果，就是sigmoid的输入

　　

　　则第二层的激励矢量的计算可表示为，

　　第三层的激励矢量的计算过程为

　　以上过程被称为前向传播（forward propagation），以上过程是前向传播的向量化实现。

 

•  人工神经网路的另一种解释

　　如果把第一层输入遮住，后面部分就是一个完全的逻辑回归模型。也就是说，对于人工神经网络来说，它是把前一层逻辑回归的结果，作为新的特征，输入到下一层逻辑回归模型中去。

　　人工神经网络没有直接使用x1, x2, ,...xn作为特征直接进行训练，而是通过前一层的神经元，学到自己的训练特征 a1, a2, an，以得到更好的假设。