【深度学习基础】基于Numpy的感知机Perception构建和训练

合集 - DL(10)

1.【优化算法】从梯度下降到深度学习非凸优化2023-05-052.【深度学习】神经网络正则化方法之Dropout2023-04-163.【深度学习基础】基于Numpy的循环神经网络实现和反向传播训练2022-08-014.【深度学习基础】基于Numpy在Minst上实现CNN反向传播训练2022-06-095.【深度学习基础】基于Numpy的前馈神经网络（FFN）的构建和反向传播训练2022-05-066.【深度学习基础】深度神经网络的参数初始化方法2022-04-25

7.【深度学习基础】基于Numpy的感知机Perception构建和训练2022-04-18

8.【大语言模型基础】-详解Transformer原理2023-04-159.【预训练语言模型】使用Transformers库进行GPT2预训练2024-03-1310.【预训练语言模型】 使用Transformers库进行BERT预训练2024-03-13

收起

1. 感知机模型

  感知机Perception是一个线性的分类器，其只适用于线性可分的数据： $$f(\mathbf{x}) = sign(\mathbf{w}^\mathrm{T} \mathbf{x} + b)$$

  其试图在所有的线性可分超平面构成的假设空间中找到一个能使训练集中的数据可分的超平面。

  感知机并未对这一超平面做特殊要求，只要能区分开训练数据即可。因此，它找到的超平面并不一定是最优的，即可能只是恰好拟合了训练数据的超平面，其泛化能力并不佳。

2. 学习

   由于直接最小化误分类点的个数并不可微，感知机的学习策略被设为：最小化误分类点到超平面的距离。

   在初始化超平面的参数即法向量和偏置后，迭代地计算样本的损失并求出参数的梯度，再基于SGD来更新参数即可，直到损失收敛后停止学习。

3. 基于numpy的感知机实现

# coding: utf-8
import numpy as np


def prepare_data(n=100):
    # Fitting OR gate
    def OR(x):
        w = np.array([0.5, 0.5])
        b = -0.2
        tmp = np.sum(w*x) + b
        if tmp <= 0:
            return 0
        else:
            return 1

    inputs = np.random.randn(n, input_size)
    labels = np.array([OR(inputs[i]) for i in range(n)])
    return inputs, labels
    

class Perception:
    def __init__(self, input_size, lr=0.001):
        # 初始化权重和偏置
        self.w = np.random.randn(input_size)
        self.b = np.random.randn(1)
        self.lr = np.array(lr)

    def predict(self, x):
        tmp = np.sum(self.w*x) + self.b
        if tmp <= 0:
            return -1
        else:
            return 1

    def update(self, x, y):
        # 基于SGD的参数更新（由最小化误分类点到超平面的距离求导可得）
        self.w = self.w + self.lr*y*x
        self.b = self.b + self.lr*y


n = 1000     # 训练样本数
ratio = 0.8  # 训练测试比
input_size = 2

print("Preparing Data {}".format(n))
X, Y = prepare_data(n)
clip_num = int(n * ratio)
train_X, train_Y = X[:clip_num], Y[:clip_num]
test_X, test_Y = X[clip_num:], Y[clip_num:]

# Init model
lr = 0.005
model = Perception(input_size, lr)
s = model.predict(X[0])
print("Input: ({}, {}), Output: {}".format(X[0][0], X[0][1], s))

# Training
epoches = 100
for i in range(epoches):
    loss = 0
    wrong_index = []
    print("\nEpoch {}".format(i+1))
    print("Forward Computing")
    for idx in range(clip_num):
        pred_y = model.predict(train_X[idx])
        if pred_y != train_Y[idx]:
            wrong_index.append(idx)
            tmp_loss = abs(float(np.sum(model.w*train_X[idx]) + model.b))
            loss += tmp_loss

    print("Wrong predict samples: {}, Loss: {}".format(len(wrong_index), loss))
    print("Learning")
    for j in wrong_index:
        model.update(train_X[j], train_Y[j])
        

# Testing
wrong_num = 0
test_loss = 0
for j in range(test_X.shape[0]):
    pred_y = model.predict(test_X[j])
    if pred_y != test_Y[j]:
        tmp_loss = abs(float(np.sum(model.w*test_X[j]) + model.b))
        test_loss += tmp_loss
        wrong_num += 1
print("\nTest wrong predict samples: {}, Loss: {}".format(wrong_num , test_loss))

4. 感知机的延伸

  感知机Perception是线性模型，它不能学习非线性函数，因而它对线性不可分的数据束手无力。例如，感知机可以拟合与门（AND）、或门（OR）、非门（NOT）产生的数据，但是不能处理好异或门（XOR）产生的数据。

  基于感知机，可以延伸出LR、 SVM。此外，值得注意的是，虽然单个感知机的表达能力有限，但是如果将多个感知机叠加起来，则可以具备足够强的表达能力，即 Multi-layer Perception（MLP)的通用近似定理（给定足够多的数据和足够宽的两层MLP，可以近似任意连续函数）。

  在《深度学习入门：基于Python的理论与实现》一书中有个直观的例子。假设用三个Perception分别拟合与门、非门和或门，再基于数字电路的知识将这三个门组合起来，即可以构成异或门。