Day5 神经网络Neural Network 一

神经元模型

　　

　　可以将神经元看作一个计算单元，它从输入神经接受一定的信息，做一些计算，然后将结果通过轴突传送到其它节点或大脑中的其它神经元。

　　将神经元模拟为一个逻辑单元，如下：

　　

　　在上图中，输入单元为x1 x2 x3，有时也可以加上额外的x0作为偏置单位，x0的值为1，是否添加偏置单位取决于其是否对例子有利。

　　中间的橙色小圈代表一个单一的神经元，而神经网络其实就是不同神经元组合在一起的集合。

　　输出就是计算结果h(x)。

神经网络

　　

　　

　　输入单元为x1 x2 x3，也可以加上偏置单元x0。

　　中间一层有三个神经元a₁⁽²⁾ a₂⁽²⁾ a₃⁽²⁾，若加上偏置单元，可以再添一个a₀⁽²⁾。

　　最后一层的节点就是中间三个节点的输出，假设函数的结果。

　　其中，第一层称为输入层，中间层称为隐藏层，最后一层称为输出层。

　　

　　

　　如，a上标(2) 下标1表示第2层的第一个激励，即隐藏层的第一个激励。所谓激励(activation) 是指由一个具体神经元读入信息后，需要利用参数矩阵，经过一系列计算再将值传给下一层，其中计算过程为s激励函数或叫做逻辑激励函数。

 前向传播Forward Propagation

　　

　　我们从输入层的激励开始，然后前向传播给隐藏层并计算隐藏层的激励，然后继续前向传播，计算出输出层的激励。

神经网络与逻辑回归

　　

　　如果盖住神经网络的输入层，会发现这其实很想逻辑回归，在逻辑回归中我们用给定的特征值预测h(x)，而在神经网络中我们用隐藏层计算得到的值来预测h(x)。

其他神经网络