朴素贝叶斯与Laplace平滑

朴素贝叶斯与Laplace平滑

朴素贝叶斯(Naive Bayes)

基本理论

朴素贝叶斯模型是生成学习的一种，用于分类问题。作为生成学习，朴素贝叶斯针对每一个分类，生成一个该分类对应的数据的模型，然后判断一个数据最符合哪一个模型，从而分类。

其核心为贝叶斯公式：

$$P(y\mid x)=\frac{P(x\mid y)P(y)}{P(x)}$$

目标是

$${\mathrm{argmax}}_y\{P(y\mid x)\}={\mathrm{argmax}}_y\{P(x\mid y)P(y)\}$$

这里的 $x$ 代表了一系列特征 $x_1,\dots ,x_n$，于是我们的目标也可以写作：

$${\mathrm{argmax}}_y\{P(y)P(x_1\mid y)P(x_2\mid x_1,y)\dots P(x_n\mid x_1,\dots ,x_{n-1},y)\}$$

这个式子非常复杂，如果考虑每个特征都是 $0/1$ 变量，那么学习的参数为 $O(2^n)$（对于 $x_1,\dots ,x_{i-1},y$ 的每种取值情况，都有 $x_i$ 的分布）。

而朴素贝叶斯采取了一个非常强的假设——$x_1,\dots ,x_n$ 相互独立，于是上式立即化简为：

$${\mathrm{argmax}}_y\{P(y)P(x_1\mid y)P(x_2\mid y)\dots P(x_n\mid y)\}$$

参数数量 $O(n\times \mathrm{\#}\text{class})$，这样就具有可操作性了。

参数推导

以每个特征都为 $0/1$ 变量，进行 $0/1$ 分类为例，推导各个参数的取值。

参数有：

• ${\varphi }_y$：$y=1$ 的先验概率；
• ${\varphi }_{j\mid y=0},{\varphi }_{j\mid y=1}$：在 $y=0$ 以及 $y=1$ 时，$x_j=1$ 的概率，根据假设，不同的特征之间的参数是无关的。

仍然采用最大似然估计，用联合概率定义似然函数（$[x]$ 表示 $x$ 为真即 $1$，假即 $0$）：

$$\begin{array}{rl}\mathcal{L}({\varphi }_{y=0},{\varphi }_{y=1},{\varphi }_y)=& \prod _{i=1}^{m}P(x^{(i)},y^{(i)})\\ =& \prod _{i=1}^{m}P(y^{(i)})\prod _{j=1}^{n}P(x_j^{(i)}\mid y^{(i)})\\ =& \prod _{i=1}^m{\varphi }_y^{[y^{(i)}=1]}(1-{\varphi }_y{)}^{[y^{(i)}=0]}\prod _{j=1}^n[{\varphi }_{j\mid y=0}^{[x_j^{(i)}=1]}(1-{\varphi }_{j\mid y=0}{)}^{[x_j^{(i)}=0]}{]}^{[y^{(i)}=0]}\\ & [{\varphi }_{j\mid y=1}^{[x_j^{(i)}=1]}(1-{\varphi }_{j\mid y=1}{)}^{[x_j^{(i)}=0]}{]}^{[y^{(i)}=1]}\end{array}$$

取对数似然（其中 “$\dots$” 对 $y=1$ 的情况省略）：

$$\begin{array}{rl}\mathcal{l}=& \sum _{i=1}^m[y^{(i)}=1]\ln {\varphi }_y+[y^{(i)}=0]\ln (1-{\varphi }_y)\\ +& \sum _{i=1}^m\sum _{j=1}^n[y^{(i)}=0][x_j^{(i)}=1]\ln {\varphi }_{j\mid y=0}+[x_j^{(i)}=0]\ln (1-{\varphi }_{j\mid y=0})\dots \end{array}$$

先对 ${\varphi }_y$ 求偏导并令其为零：

$$0=\frac{1}{{\varphi }_y}\sum _{i=1}^m[y^{(i)}=1]-\frac{1}{1-{\varphi }_y}\sum _{i=1}^m[y^{(i)}=0]$$

从而

$${\varphi }_y=\frac{1}{m}\sum _{i=1}^m[y^{(i)}=1]$$

再对 ${\varphi }_{j\mid y=0}$ 求偏导并令其为零：

$$0=\sum _{i=1}^m[y^{(i)}=0](\frac{[x^{(i)}=1]}{{\varphi }_{j\mid y=0}}-\frac{[x^{(i)}=0]}{1-{\varphi }_{j\mid y=0}})$$

从而

$${\varphi }_{j\mid y=0}=\frac{\sum _i[y^{(i)}=0][x_j^{(i)}=1]}{\sum _i[y^{(i)}=0]}$$

同理有

$${\varphi }_{j\mid y=1}=\frac{\sum _i[y^{(i)}=1][x_j^{(i)}=1]}{\sum _i[y^{(i)}=1]}$$

实际上这些公式看起来非常显然，就是以频率估计概率，但是都是基于MLE推导而来的。

Laplace平滑

朴素贝叶斯模型非常依赖数据的“完整性”——假如训练集中没有 $x_j^{(i)}=1,y^{(i)}=0$ 的数据，那么我们对 $P(x_j=1\mid y=0)$ 的估计就是 $0$，也即在统计上不可能发生，然而这是很不安全的，我们更倾向于说 $P(x_j=1\mid y=0)$ 很小，而不是为 $0$。

以一个例子突出朴素贝叶斯模型的这一问题。

垃圾邮件分类

考虑给定一个纯文本邮件，判断其是否为垃圾邮件。

我们可以用一种很简单的方法处理数据——预设一个字典，假设邮件的所有单词都包含在内（如果没有包含就把它忽略）。设置特征为“某一个单词是否在邮件中出现”，出现即为 $1$，不出现即为 $0$。是垃圾邮件，则目标值为 $1$，否则为 $0$。

（其实可以注意到这种特征设置并不满足朴素贝叶斯的假设，比如 buy 和 price 这两个单词是否出现一般来说是不独立的。因此直接这样实现的效果很差，用 UCI 中的数据集 spambase，将其提供的“单词出现频次”改为“是否出现”，大概错误率为 10%。）

那么就可能会有一个问题——字典中的某个单词 $j$ 没有在 training set 里出现，但是出现在了 test set 中。按照我们的方法，

$$P(x_j=1\mid y=1)=P(x_j=1\mid y=0)=0$$

那么我们发现模型对 test set 中的这封邮件是垃圾邮件和不是垃圾邮件的概率都是 $0$。很有可能这一个单词与是否是垃圾邮件无关，但是它造成了我们根本无法判断这封邮件是否是垃圾邮件。

Laplace平滑

一个非常简单的处理，我们假设每种情况最初都包含有一个数据，也即

$${\varphi }_{j\mid y=0}=\frac{\sum _i[y^{(i)}=0][x_j^{(i)}=1]+1}{\sum _i[y^{(i)}=0]+2}$$

同理

$$\begin{array}{rl}{\varphi }_{j\mid y=1}& =\frac{\sum _i[y^{(i)}=1][x_j^{(i)}=1]+1}{\sum _i[y^{(i)}=1]+2}\\ {\varphi }_y& =\frac{\sum _{i=1}^m[y^{(i)}=1]+1}{m+2}\end{array}$$

更为普遍地，我们考虑有 $k$ 个分立取值的变量 $x_j\in \{1,\dots ,k\}$，那么我们对其概率估计为：

$$P(x_j=t\mid y=0)=\frac{\sum _{i=1}^m[x_j^{(i)}=t][y^{(i)}=0]+1}{\sum _{i=1}^m[y^{(i)}=0]+k}$$

这样就直接避免了上述问题，但是同时也会造成一定程度的误差，在数据较多时造成的误差不明显。