Novikoff定理

令$S$是一个非平凡的训练集，并且令： \[ R=\max_{1 \le i \le l}||x_i|| \] 假定存在向量$w_{opt}$，满足$\|w_{opt}\|=1$并且对$1 \le i \le l$有： \[ y_i(\langle \bm{w}_{opt} \cdot \bm{x}_i \rangle + b_{opt}) \ge \gamma \] 则$S$上在线感知机算法的误分次数最大为: \[ \left(\frac{2R}{\gamma}\right)^2 \]

补充说明:

样例$(\bm{x}_i, y_i)$对应于超平面$(\bm{w}, b)$的(函数)间隔是: \[ \gamma_i = y_i (\langle \bm{w} \cdot \bm{x}_i \rangle + b) \] 并且 \[ \gamma = \min \gamma_i \]

证明: 为了便于分析，利用附加坐标$R$值扩充输入向量，新向量可以表示为$\widehat{\bm{x}}_i = (\bm{x}_i', \bm{R})'$，这里$\b