《机器学习(周志华)》笔记--神经网络（1）--神经元模型：神经网络定义、生物神经网络的神经元结构、M-P神经元模型

一、神经元模型

1、神经网络定义

　　神经网络：神经网络是由适应性的简单单元组成的广泛并行互连的网络，他的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。

　　神经网络是目前广泛使用的一种机器学习方法，机器学习中提到的神经网络指的是“神经网络学习”，或者说，是机器学习与神经网络这两个学科领域的交叉部分。

2、生物神经网络的神经元结构

　　神经网络中最基本的成分是神经元模型，即定义中的“简单单元”。

　　要让机器像人一样学习，首先要了解大脑的神经元结构，生物神经网络的神经元结构如下图：

　　　　　　　　　　

　　由图可以看出，生物神经元由胞体（Soma）、树突（Dendrites），突触（Synapse）和轴突（Axon）等构成。

　　胞体是神经元的代谢中心，胞体一般生长有许多树状突起，称为树突，它是神经元的主要接收器。胞体还延伸出一条管状纤维组织，称为轴突。树突是神经元的生物信号输入端，与其它的神经元相连；轴突是神经元的信号输出端，连接到其它神经元的树突上。

　　生物神经元有两种状态：兴奋和抑制，平时生物神经元都处于抑制状态，轴突无输入，当生物神经元的树突输入信号大到一定程度，超过某个阈值时，生物神经元有抑制状态转为兴奋状态，同时轴突向其它生物神经元发出信号。轴突的作用主要是传导信息，传导的方向是由轴突的起点传向末端。通常，轴突的末端分出许多末梢，它们同后一个生物神经元的树突构成一种称为突触的机构。其中，前一个神经元的轴突末梢称为突触的前膜，后一个生物神经元的树突称为突触的后膜；前膜和后膜两者之间的窄缝空间称为突触的间隙，前一个生物神经元的信息由其轴突传到末梢之后，通过突触对后面各个神经元产生影响。

 3、M-P神经元模型

　　1943年，McCulloch 和 Pitts 将生物神经网络的神经元结构与功能抽象为一个简单模型，这就是一直沿用至今的“M-P神经网络模型”。结构如下图所示：

       

  　　　　图1.3.1 M-P神经元模型　　　　　　　　　　　　　　　　　　　　　　　　图1.3.2 逻辑回归　　　　　　　　　　　　　　　　　　　　图1.3.3 神经元

 　　在这个模型中，神经元接收到来自 n 个其他神经元传输过来的输入信号，这些输入信号通过带权重的连接(connection)进行传递，神经元接收到的总输入值将与神经网络的阈值进行比较，然后通过“激活函数”(activation function)处理以产生神经元的输出。

　　理想的激活函数是阶跃函数（它将输入值映射为输出值“0”或“1”），但阶跃函数具有不连续、不光滑等不太好的性质，因此实际常用Sigmoid函数作为激活函数。

　　把许多个这样的神经元按一定的层次结构连接起来，就得到了神经网络。