机器学习中使用的神经网络(七)

A geometrical view of perceptron 感知器的几何视图

Weight-space 权值空间

在这个空间中，每一个感知器中的权值都表示一维，而空间中的一点则代表了所有权值的特定集合，假设消除阈值，则每个训练样本都可以看做通过起点的超平面。So, points in the space correspond to weight vectors and training cases correspond to planes. 也就是说，空间中的点对应权值向量，超平面则对应训练样本。所以，权值必须在超平面的某一侧才能得到那个训练样本的正确的结果(分类)。

以下面的图为例来说明：

只考虑一个训练样本，这个训练样本定义了一个平面，在这张2d图中就是黑色的那条线，这个平面通过原点，并与输入向量垂直（蓝色矢量箭头）。权值向量需要在超平面的正确一侧才能获得正确的结果。他需要在与输入向量相同的一侧。绿色的权值向量与输入向量的角度不超过90度，所以他们的点集是正的，所以可以获得正确的结果。相反，如果我们有一个权值比如红色的，在错误的一侧，与输入的角度超过90度，

权值与输入的点集是负的，小于0，所以感知器将会说不，或者0, 这种情况下的到的是错误的答案。

另外一个例子，正确结果是0.

在这个例子中，任何与输入小于90度的权值向量获得的结果都大于0，所以不是想要的结果。

现在把这两个测试样本放在一张图中

可以看到有一个圆锥区域，在这个圆锥区域中，任何权值向量都可以获得这两个测试样本的正确的结果。如果存在对于所有样本都能得到正确结果的权值向量，这些权值向量一定在超椎区域里，其顶点在原点。所以，学习算法需要做的是考虑这些训练样本每次一个，并且移动向量使其最后到达这个锥形区。任何两个向量求平均，结果都在两个向量的锥形区内。这就是一个凸问题(convex).在机器学习中，如果你得到了一个凸学习问题，这就非常好解决了make life easy。