人工神经网络——学习笔记

神经网络

什么是神经网络

人们一直对计算机人工智能进行着孜孜不倦的探索，迄今为止，最有可能实现也是已经实现智能化的算法就是人工神经网络（ANN）

人工神经网络是由大量处理单元互联组成的非线性、自适应信息处理系统。

神经元存储信息及计算方式

在生物学中，我们的神经元是二元激发态的：激发与非激发，但是，在计算机中我们认为每个神经元是一个实数变量，通常范围是 $[0,1]$ 。
在生物学中，几个神经元的激发会引起某个神经元的激发。为了模拟激发态，我们使用一个激发函数：

$Sigmoid(x)=\frac{1}{1+e^{-x}}$

该函数是 非线性 的，由此决定了神经激发也是非线性的。

至于神经元具体的激发机制请往下看。

神经元互联方式

神经网络的输入层是一连串神经元，每个神经元都记录了一个激发值 $V_i$ ，前一层的每个神经元依次连接到后一层的每个神经元，由此神经元相当于图上的点，互联相当于图上的边。在这张有向无环图（AOV网）中，每个边都有其对应的权值 $W_i$ 。

神经元激发方式

梯度下降

反向传播