2023-学习记录12-神经网络计算
神经元(neuron)是神经网络的基本计算单元，也被称作节点(node)或者单元(unit)。它可以接受来自其他神经元的输入或者是外部的数据，然后计算一个输出。每个输入值都有一个权重(weight),权重的大小取决于这个输入相比于其他输入值的重要性。然后在神经元上执行一个特定的函数 f, 定义如下图所示，这个函数会该神经元的所有输入值以及其权重进行一个操作。
由上图可以看到，除了权重外，还有一个输入值是1的偏置值bias。这里的函数f就是一个被称为激活函数的非线性函数。它的目的是给神经元的输出引入非线性。因为在现实世界中的数据都是非线性的，因此我们希望神经元都可以学习到这些非线性的表示。
下面是一些比较常见的激活函数：
- Sigmoid: 输出范围是[0,1]
- tanh: 输出范围是[-1,1]
- ReLU:
下面给出上述激活函数的图像：
这里需要简单说下偏置值bias的作用，它可以提供给每个神经元一个可训练的常量值。具体可以看下Stackoverflow上的这个回答：
