神经网络的Python实现（一）了解神经网络

来源我的GitHub博客 点击更好的阅读体验 Addicted to Learning

网络上深度学习相关博客教程质量参差不齐，很多细节很少有文章提到，所以本着夯实深度学习基础的想法写下此系列博文。

本文会从神经网络的概述、不同框架的公式推导和对应的基于numpy的Python代码实现等方面进行干货的讲解。如有不懂之处欢迎在评论留言，本人也初学机器学习与深度学习不久，有不足之处也请欢迎我联系。：）

推荐书籍与视频教程：
《机器学习》--周志华
《Deep learning》--Ian Goodfellow、Yoshua Bengio 和 Aaron Courville
李宏毅深度学习视频课程-youtube Bilibili

---

神经网络

神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。

神经网络最基本的组成是神经元模型，每个神经元与其他神经元相连，神经元接受到来自 \(n\) 个其他神经元传递过来的输入信号，这些信号通过带有权重的连接进行传递，神经元接收到的总输入值将于阈值进行比较，然后通过“激活函数”处理产生输出。把许多神经元按一定层次结构连接起来就得到了神经网络。

感知机模型

感知机模型(Perceptron)由两层神经元组成，分别是输入层与输出层。

感知机模型是最为基础的网络结构，其计算形式如下

\[y=f\left(\sum_i\omega_ix_i+b\right) \]

其中 \(f\) 为激活函数。我们先假设 \(f\) 是阶跃函数(Step function)。

def sign(out):
    """
    y = sign(w·x + b)
    :param out - the result of w·x + b
    :return: y
    """
    if out >= 0:
        return 1
    else:
        return -1

感知机的学习规则非常简单，对于训练样本 \((x,y)\)，若当前感知机的输出为 \(\hat{y}\)，则感知机参数更新方式如下

\[\begin{align} \omega &\leftarrow \omega_i + \Delta\omega_i & \Delta\omega_i &= \eta\ (y-\hat{y})\ x_i \nonumber\\ \qquad& \nonumber\\ b_i &\leftarrow b_i + \Delta b_i & \Delta b_i &= \eta\ (y-\hat{y}) \nonumber \end{align} \]

其中 \(\eta\) 称为学习率(learning rate)

下面我们使用Python来实现感知机进行分类：

# 初始化变量w,b
w = np.zeros(shape=data[0].shape)
b = np.zeros(shape=label[0].shape)

def update(x, y, learning_rate):
    """
    当发现误分类点时，更新参数w,b.
    更新方法：
    w = w + learning_rate * x * y
    b = b + learning_rate * y
    :param x: 误分类点坐标
    :param y: 误分类点正确分类标签
    :return: None
    """
    global w, b
    w = w + learning_rate * x * y
    b = b + learning_rate * y
    

假设训练集是线性可分的。更新过程便是，遍历全部的训练实例，通过感知机的计算方式计算出结果 \(y\) 与对应标签进行比较(感知机标签一般为 1 和 -1)，如果误分便使用updata()进行参数更新。下图是感知机线性分类的拟合过程。

随意写的训练数据

# x
[[3.2, 0.8], [5, 5], [3, 3], [4, 3], [1, 1], [2, 2], [1, 4]]
# y
[-1, 1, 1, 1, -1, -1, -1]

感知机只有输入层和输出层，且只有输出层神经元进行激活处理，即只有一层功能神经元，其学习能力非常有限。如果问题是非线性可分问题，那么感知机会发生振荡，无法收敛。

多层网络

为了解决非线性可分问题，那么便需要采用多层功能神经元，如简单的两层感知机。如图

其中输入层与输出层之间一层被称为隐藏层(隐含层)，隐藏层和输出层都是拥有激活函数的功能神经元。一般情况下，隐藏层可以有多层，同层神经元之间不存在连接，也不存在跨层连接。这样的神经网络结构被称为多层前馈神经网络(multi-layer feedforward neural networks)

因多层功能神经元的存在，多层网络的学习能力要强得多，同时简单的感知机学习规则显然已经无法满足要求。更强大的学习算法，误差逆传播(error BackPropagation)算法，即BP算法便是最成功的神经网络学习算法。

TODO

在下一篇博文中，我们将使用BP算法来实现“全连接网络”。