摘要：
支持向量机是一种分类模型。模型认为，离分类超平面越远的点，判定结果越准确，所以模型的训练目标就是让离分类超平面最近的样本点距离最大。我们先从最基本的线性可分支持向量机（硬间隔支持向量机）开始推导，之后再推广到可以容纳一定误分类点的线性支持向量机（软间隔支持向量机），最后介绍核函数与 SMO 算法。 阅读全文
摘要：
在学习支持向量机（SVM）的过程中遇到了拉格朗日对偶问题与 KKT 条件，这里简单介绍一下拉格朗日对偶问题的推导。 阅读全文
摘要：
朴素贝叶斯分类器是一种 generative model。它通过选择 $P(X|Y)$ 与 $P(Y)$ 所符合的分布，再通过贝叶斯公式 $P(Y|X) = \frac{P(X|Y)P(Y)}{P(X)}$ 算出给定的数据属于每个类别的概率，最后选择概率最大的类别输出。概率分布的参数同样通过极大似然估计法获得。这篇博客通过一个垃圾邮件分类器的例子，讲解朴素贝叶斯分类器的推导与应用过程。 阅读全文
摘要：
FFT 能够更快地帮我们在多项式的系数表示和点值表示之间进行转换，它的复杂度是 $O(n\text{log}n)$。这篇博客中，我们就来推导并介绍 FFT 是如何加快这个过程的。 阅读全文
摘要：
在之前的博客中，我们通过矩阵求导的方式推导了 normal equation。这篇博客中，我们将通过线性代数的角度再次回顾 normal equation。 阅读全文
摘要：
最近正在学习 Gilbert Strang 的线性代数，发现图论中的很多结论也可以从线性代数的角度解释，非常神奇。这里简单介绍一下矩阵的列空间、行空间、零空间等与图论的关系。 阅读全文
摘要：
广义线性模型通过三条限定（指数族分布、输出期望、线性关系），为模型输出结果、特征和模型参数之间的关系问题提供了一个合理的解决方案。我们只需要将我们选择的概率分布写成指数族分布的形式，就能推导出模型输出结果与其它变量之间的关系。 阅读全文
摘要：
Logistic regression 使用了极大似然估计法，作为训练 $\theta$ 的标准。我们首先证明代价函数是凸函数，之后求解 $\theta$ 关于代价函数的梯度，以使用梯度下降法优化 $\theta$。 阅读全文
摘要：
Normal equation 的推导思想，就是让 $\nabla_\theta J(\theta) = 0$，从而解出最优的 $\theta$。我们首先推导代价函数 $J(\theta)$ 为凸函数的条件，然后推导梯度解出最优的 $\theta$。 阅读全文