核函数矩阵为什么要是positive semidefinite的
《支持向量机导论》中证明核函数矩阵$\mathbf{K}=(K(\mathbf{x}_{i},\mathbf{x}_{j}))_{i,j=1}^{n}$必须是半正定矩阵的方法是用的反证法,构造了一个反例,
\[
\mathbf{z}=\sum_{i=1}^{n}v_{si}\mathbf{\mathbf{\Phi}}(\mathbf{x}_{i})=\sqrt{\Lambda}V'v_{s}
\]
这个$\mathbf{\mathbf{z}}$其实是特征空间中样本映射$\mathbf{\mathbf{\boldsymbol{\phi}}}(\mathbf{x}_{i}),\ i=1,\cdots,n$的一个线性组合,还属于特征空间。然后,导出这个$\mathbf{z}$的范数,
\[
\|\mathbf{z}\|^{2}=\left\langle \mathbf{\mathbf{z}\cdot\mathbf{z}}\right\rangle =v'_{s}\mathbf{K}v_{s}=\lambda_{s}<0
\]
上面,$\lambda_s$ 和$v_s$ 分别是负特征值及其对应的特征向量。这与范数的性质相矛盾,因此,需要所有的特征值$\lambda_{i}\ge0$,即$\mathbf{K}$是半正定的。