神经网络

1.神经网络发展的动力:在逻辑回归解决复杂的分类问题时,我们使用属性的一些组合来构造新的属性(x12,x1x2,x22...),这样就会造成属性的数目n过多,带来了大量的运算,甚至造成过拟合的现象。在计算机视觉中对物体进行识别,需要将图片的像素点作为属性,因此,属性的项目n将会十分的庞大。逻辑回归解决这类问题存在不足,这给神经网络提供了发展的动力。

 

2.神经网络的基础模型:

在神经网络模型中,第一层通常称为输入层,最后一层称为输出层,其它层称为隐藏层。如上图所示,在输入层中含有一个偏置x0,其值常为1.其他隐藏层对于其下一层来讲,也都存在一个常为1的偏置。我们通常用a(j)i表示第j层的,第i个神经元;用θ(j)表示第j层的参数(权重)矩阵,其维数为Sj+1*(Sj+1),其中,Sj+1表示为j+1层神经元的个数。维度的推到方式如下图所示:

 

3.神经网络前向传播的向量化实现:注意除了输出层外,每一层都含有一个值为1的偏置!

每一次前向传播计算都是和逻辑回归方法相同,不同点在于,与逻辑回归的输入值不同,神经网络中的输入值,是上一层的输出值!每一隐藏层根据神经元的连接情况和θ值的设定,都实现了一个特定的功能。

 

4.神经网络实现AND,NOR,OR运算,然后经过组合实现XOR运算!

 

5.如何使用神经网络解决多分类问题?

本部分只是强调了,在多分类问题中,最终的预测值y(i)使用一个向量来表示,而不是一个单纯的数字。

posted on 2018-05-18 14:21  LoganGo  阅读(628)  评论(0编辑  收藏  举报