摘要： Andrew Ng 组的Tutorial做的很浅显易懂啊，今天明白了Autoencoder。其实，autoencoder做的就是降维，我觉得最让我眼睛一亮的地方是，用KL divergence(\ref{kl})做约束实现sparsity，相当于把$\rho$跟$\hat{\rho}$都看成是一种分布，统计的思想体现的很好，跟L1 norm有异曲同工之妙，而且，我感觉解析性应该比L1 norm更好！\begin{equation}\label{kl}\mathbf{ KL}(\rho || \hat\rho_j) = \rho \log \frac{\rho}{\hat\rho_j} + (1 阅读全文

摘要： 《支持向量机导论》中证明核函数矩阵$\mathbf{K}=(K(\mathbf{x}_{i},\mathbf{x}_{j}))_{i,j=1}^{n}$必须是半正定矩阵的方法是用的反证法，构造了一个反例，\[\mathbf{z}=\sum_{i=1}^{n}v_{si}\mathbf{\mathbf{\Phi}}(\mathbf{x}_{i})=\sqrt{\Lambda}V'v_{s}\]这个$\mathbf{\mathbf{z}}$其实是特征空间中样本映射$\mathbf{\mathbf{\boldsymbol{\phi}}}(\mathbf{x}_{i}),\ i=1,\cdot 阅读全文