机器学习基础课堂笔记：2-3 PLA正确性

$\cos\theta_T=\frac{\boldsymbol w_f}{||\boldsymbol w_f||}\frac{\boldsymbol w_T}{||\boldsymbol w_T||}$

因为$\boldsymbol w_T=\sum_t y_{n(t)}\boldsymbol x_{n(t)} \in [T\min_ny_n\boldsymbol x_n,T\max_ny_n\boldsymbol x_n]$

所以$\cos\theta_T=\frac{\boldsymbol w_f}{||\boldsymbol w_f||}\cdot\frac{\sum_t y_{n(t)}\boldsymbol x_{n(t)}}{||\sum_t y_{n(t)}\boldsymbol x_{n(t)}||}\ge\frac{\boldsymbol w_f}{||\boldsymbol w_f||}\cdot\frac{T\min_ny_n\boldsymbol x_n}{||T\max_ny_n\boldsymbol x_n||}=\frac{\boldsymbol w_f}{||\boldsymbol w_f||}\cdot\frac{\sqrt T\min_ny_n\boldsymbol x_n}{||\max_ny_n\boldsymbol x_n||}=\sqrt T\frac{\boldsymbol w_f\cdot\min_ny_n\boldsymbol x_n}{||\boldsymbol w_f||||\max_ny_n\boldsymbol x_n||}$

(1) 上式中分子$\boldsymbol w_f\cdot\min_ny_n\boldsymbol x_n$一定为正数（因为这里最终解一定没有分类错误）

(2) 因为$\cos\theta_T\le 1$，所以可以推导出$T\le\frac{||\boldsymbol w_f||^2||\max_n ||\boldsymbol x_n||^2}{(\boldsymbol w_f\cdot\min_ny_n\boldsymbol x_n)^2}=\frac{||\max_n\boldsymbol x_n||^2}{(\min_ny_n\frac{\boldsymbol w_f}{||\boldsymbol w_f||}\cdot\boldsymbol x_n)^2}$