感知机模型

模型概念#

输入空间和输出空间#

• $\mathbf X \subseteq \mathbb R^n$
• $\mathbf Y = \{+1, -1\}$
• $\mathbf x \in \mathbf X$
• $y \in \mathbf Y$

假设空间#

$$f(\mathbf x) = sign(\mathbf w \cdot \mathbf x + b)$$

$w$和$b$是感知机的模型参数，$\mathbf w \subseteq \mathbb R^n$叫做权重向量，$b \in \mathbb R$叫做偏置。$\mathbf w \cdot \mathbf x$表示$w$和$x$的内积，$sign$是符号函数，即

$$sign(x) =\begin{cases} +1& x \geq 0 \\ -1& x < 0 \end{cases}$$

学习策略#

点$\mathbf x_0$到直线$y = \mathbf w \cdot \mathbf x + b$的距离

$$distance = \frac{1}{||\mathbf w||}|\mathbf w \cdot \mathbf x_0 + b|$$

对于误分类点$(x_i,y_i)$，如果$\mathbf w \cdot \mathbf x_i + b < 0$，那么$y_i= +1$；反之，如果$\mathbf w \cdot \mathbf x_i + b > 0$，那么$y_i=-1$。所以，将距离公式去掉绝对值，误分类点到超平面的距离可以表示为

$$-\frac{1}{||\mathbf w||}y_i(\mathbf w \cdot \mathbf x_i + b)$$

损失函数的定义：误分类点到超平面的总距离

$$L(\mathbf w,b) = - \sum_{x_i \in M} \frac{1}{||\mathbf w||}y_i(\mathbf w \cdot \mathbf x_i + b)$$

其中$M$为误分类点的集合

对于感知机算法使用梯度下降法求解

$$\frac{\partial L}{\partial \mathbf w} = - \sum_{x_i \in M}y_ix_i\\ \frac{\partial L}{\partial b} = - \sum_{x_i \in M}y_i$$

在训练过程中，使用随机梯度下降法，随机选取一个误分类点，对$w$，$b$更新

$$\mathbf w = \mathbf w + \eta y_ix_i\\ b = b + \eta y_y$$

问题：为什么参数更新的时候不需要考虑$\frac{1}{||w||}$?

分离超平面通过$w$和$b$确定，$\frac{1}{||w||}$对$w$的方向没有影响，可以固定$w$的大小为1。

从上述学习过程中可以看出来，假如$w$和$b$的初始值都设为$0$，$\eta$的初始值设为$1$，那么$w$在误分类点$(x_i,y_i)$的驱动下的增量为$y_ix_i$，$b$的增量为$y_i$。设误分类点$(x_i,y_i)$对$w$和$b$的修正次数为$a_i$,那么最终$w=\sum_{i=1}^{N}a_iy_ix_i$，$b = \sum_{i=1}^{N}a_iy_i$。

此时的模型可以表示为

$$f(\mathbf x) = sign(\sum_{j=1}^{N}a_jy_jx_j \cdot x + b)$$

算法#

感知机学习算法的原始形式#

class Perceptron:
    def __init__(self, alpha=0.1):
        self.alpha = alpha
        self.w = None
        self.b = None

    def fit(self, X, y):
        self.w = np.ones_like(X[0])
        self.b = 0.0
        flag = 1
        while flag:
            flag = 0
            for xi, yi in zip(X, y):
                if yi * (np.dot(self.w, xi) + self.b) <= 0:
                    self.w += self.alpha * yi * xi
                    self.b += self.alpha * yi
                    flag = 1

可视化结果

def plot(X, y, model):
    w = model.w
    b = model.b
    print(w, b)
    plt.scatter(X[:, 0], X[:, 1], c=y, cmap='rainbow')
    plt.plot(range(5), [-w[0] / w[1] * x - model.b / w[0] for x in range(5)], c="b")
    plt.xlabel("x [0]")
    plt.ylabel("x [1]")
    plt.title("Perceptron Algorithm")
    plt.show()


def main():
    model = Perceptron(alpha=1)
    X = np.array([[3., 3.], [4., 3.], [1., 1.]])
    y = np.array([1., 1., -1.])
    model.fit(X, y)
    plot(X, y, model)

感知机学习算法的对偶形式#

class Perceptron:
    def __init__(self, alpha=0.1):
        self.alpha = alpha
        self.a = None
        self.b = None

    def fit(self, X, y):
        self.a = np.zeros(X.shape[0])
        self.b = 0.0
        flag = 1
        while flag:
            flag = 0
            for i, (xi, yi) in enumerate(zip(X, y)):
                if yi * (sum([self.a[j] * y[j] * np.dot(x, xi) for j, x in enumerate(X)]) + self.b) <= 0:
                    self.a[i] += self.alpha
                    self.b += self.alpha * yi
                    flag = 1

可视化结果

def plot(X, y, model):
    w = np.sum(np.array([model.a[i] * y[i] * x for i, x in enumerate(X)]), axis=0)
    b = np.sum(np.array([model.a[i] * y[i] for i, x in enumerate(X)]), axis=0)
    print(w, b)
    plt.scatter(X[:, 0], X[:, 1], c=y, cmap='rainbow')
    plt.plot(range(5), [-w[0] / w[1] * x - model.b / w[0] for x in range(5)], c="b")
    plt.xlabel("x [0]")
    plt.ylabel("x [1]")
    plt.title("Perceptron Algorithm")
    plt.show()


def main():
    model = Perceptron(alpha=1)
    X = np.array([[3., 3.], [4., 3.], [1., 1.]])
    y = np.array([1., 1., -1.])
    model.fit(X, y)
    plot(X, y, model)

算法的收敛性#

详细证明过程参照李航老师《统计学习方法》

算法的收敛性证明表明，在数据集线性可分的情况下，搜索次数$k$是有上界的，经过有限次搜索可以找到将训练数据完全正确分开的超平面。