PLA能收敛的证明

题:如果资料D线性可分，PLA如何保证最后能得到最优解。

思路：假设$w_f$能够分割资料D，$w_{t+1}$经过更新$w_{t+1}=w_t + y_{n(t)}x_{n(t)}$后，与$w_f$更接近

两个向量更接近，则有$Z=\frac{w_f^Tw_t}{||w_f||||w_t||}$越大

其中$w_f^tw_t=w_f^tw_{t-1}+w_f^ty_{n(i)}x_{n(i)}=w_f^tw_0+w_f^t\sum_i^t y_{n(i)}x_{n(i)}$
令$w_0=0$，则$w_f^tw_t \geq 0+t min(w_f^ty_{n(i)}x_{n(i)})$

同理，由于只有$y_{n(t)}w_{t-1}^tx_{n(t)} < 0$ 才进行更新
$||w_{t}||^2=||w_{t-1}||^2 + 2y_{n(t)}w_{t-1}^tx_{n(t)}+||y_{n(t)}x_{n(t)}||^2 < ||w_{t-1}||^2 + 0 + max||x_{n(i)}||^2$

有$Z > \frac{t min(y_{n(i)}w_f^tx_{n(i)})}{||w_f||\sqrt{t max||x_{n(i)}||^2}}=\sqrt{t}\frac{min(y_{n(i)}w_f^tx_{n(i)})/||w_f||}{max||x_{n(i)}||}$