机器学习002-LDA与KNDA
参考：LDA kernel LDA
kernel LDA 用到了散度(scatter)的概念，目标是使样本点在高维空间中的投影满足：类内散度最小，类间散度最大。即：
\[J(W^\phi)=argmax_{(W^\phi)}\frac{W^{\phi T} S_b^\phi W^\phi}{W^{\phi T} S_w^\phi W^\phi}\\
\begin{align}
其中，&\phi 表示高维空间下的;\\
&S_b^\phi类间散度，S_b^\phi=\sum_{i=1}^{C}N_i(\mu_i-\mu)(\mu_i-\mu)^T; \\
&S_w^\phi类内散度，S_w^\phi=\sum_{i=1}^{C}\sum_{\phi(x_j)∈X_i}(\phi(x_j)-\mu_i)(\phi(x_j)-\mu_i)^T;\\
&W^\phi是单位正交化的特征向量矩阵，即高维空间中的坐标轴w^\phi，\\
&w^\phi=\sum_{i=1}^N\alpha_i\phi(x_i)这是未知的，难以直接计算的，需要借助核函数。\\
\end{align}
\]
将核函数引入之后：
\[J(\alpha)=argmax_{(\alpha)}\frac{|\alpha^TG_b\alpha|}{|\alpha^TG_w\alpha|}\\
\begin{align}
其中，&G_b=\sum_{i=1}^{C}N_i(m_i-\overline m)(m_i-\overline m)^T\\
&G_w=\sum_{i=1}^{C}\sum_{K_j∈X_i}(K_j-m_i)(K_j-m_i)^T\\
&m_i=\frac{1}{N_i}\sum_{j=1}{N_i}K_j\\
&K_j=(k(x_i,x_1),...,k(x_i,x_N))^T&K_j为核函数矩阵的一个列向量
\end{align}\\
\]
