神经元的数学模型

在上一篇关于人体神经元结构的分析后，我们可以得出神经元的数学模型如下图。神经元有m个输入和一个输出.

在m个输入中，针对每个输入X_j，都有其相应权重项W_kj，在接收到这m个输入后，我们对各条输入进行加权求和。记为：

而在summing junction处，我们通常需要加一个偏移项（Bias）b_k，也就是说induced local field，也称预激励pre-activatio是：

而如果我们将偏移项也视为一个输入x₀，将x₀设置为1，其权重w_k0设置为b_k，则我们得到的induced local field是：

是Activation Function，它将输出神经元的最终输出激励output activation

下面是2种基本的activation函数的类型：
1.Threshold Function 阈值函数

也就是说，当输入值大于0时，神经元输出1，输入值小于0时，神经元不输出。这样的神经元，我们称作McCulloch-Pitts模型。

2.Sigmoid Function S型函数

这是神经理论中常用的一种模型，其中的一个例子是Logistic Function，其公式为:

其中a是斜率slope parameter。
其特点是：
将pre-activation值压缩在（0,1）之间；非负，有界；单调递增；随着a的增大，曲线会越来越陡峭，当a趋向于无穷大时，我们的s型函数将趋近于阈值函数。

3.Hyperbolic Tangent Function:
其特点是将pre-activation压缩在(-1,1)之间；有正有负，有界；单调递增

其曲线图见上图。