贝叶斯分类小结

在《贝叶斯之朴素理解》比较详细地总结了一个朴素贝叶斯。这里再对非朴素贝叶斯做一个小结，以了结贝叶斯分类。

1、非朴素贝叶斯公式#

1.1 高维高斯分布#

在此之前，我们同样先需准备一些数学知识，高维高斯概率分布，或者也叫做联合高斯概率分布，它有如下公式

$$p(\mathbf{x})=\frac{1}{\sqrt{(2\pi)^n|\Sigma|}}\exp\left(-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})\Sigma^{-1}(\mathbf{x}-\boldsymbol{\mu})^T\right) \tag{1-1}$$

注：如果特征属性是以列向量的形式表示的，那么上式（1-1）应表示为

$$p(\mathbf{x})=\frac{1}{\sqrt{(2\pi)^n|\Sigma|}}\exp\left(-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})^T\Sigma^{-1}(\mathbf{x}-\boldsymbol{\mu})\right)$$

上式中，$\boldsymbol{\mu}=(\mu_1,\mu_2,\cdots,\mu_n)$表示特征$\mathbf{x}=(x_1,x_2,\cdots,x_n)$的均值向量，即有

$$\mu_i = \frac{1}{m}\sum_{j=1}^{m}x_{ij},\ i = 1,2,\cdots,n;\ j=1,2,\cdots,m \tag{1-2}$$

注：其中$n$表示特征的个数，$m$表示样本数。

$\Sigma$表示协方差矩阵，$|\Sigma|$表示协方差矩阵的行列式，协方差阵可以表示为

$$\Sigma=\frac{1}{m}\sum_{i=1}^{m}(\mathbf{x}_j-\boldsymbol{\mu})^T(\mathbf{x}_j-\boldsymbol{\mu}) \tag{1-3}$$

其中$\mathbf{x}_j$表示第$j$个样本的特征行向量。

1.2 联合贝叶斯公式#

与《贝叶斯之朴素理解》第2小节中的贝叶斯公式类似，可以表达为如下公式

$$p(c_k|\mathbf{x})=\frac{p(\mathbf{x}|c_k)p(c_k)}{p(\mathbf{x})} \tag{1-4}$$

同样我们可以假设其中的似然概率$p(\mathbf{x}|c_k)$服从高斯分布，那么由式（1-1）可得似然概率的表达式为

$$p(\mathbf{x}|c_k)=\frac{1}{\sqrt{(2\pi)^n|\Sigma|}}\exp\left(-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})\Sigma^{-1}(\mathbf{x}-\boldsymbol{\mu})^T\right) \tag{1-5}$$

由于对所有的$p(c_k|\mathbf{x})$，$p(\mathbf{x})$都是一样的，所以我们只需要对式（1-4）的分母比较大小，因此我们可以推出如下判别式

$$\log(p(\mathbf{x}|c_k)p(c_k))=-\frac{1}{2}\log|\Sigma|-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})\Sigma^{-1}(\mathbf{x}-\boldsymbol{\mu})^T-\frac{n}{2}\log(2\pi)+\log{p(c_k)}$$

注：取对数，可以简化我们的计算，并不影响我们对大小的判断。更进一步地，我们可以将上式的表达式中的常数项去掉。

$$g_k(\mathbf{x})=-\frac{1}{2}\log|\Sigma|-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})\Sigma^{-1}(\mathbf{x}-\boldsymbol{\mu})^T+\log{p(c_k)} \tag{1-6}$$

最终，我们只需要对式（1-6）进行计算，即可分出类别。

2、非朴素贝叶斯实现#

2.1 准备数据#

与《贝叶斯之朴素理解》第4小节类似，我们先准备好我们的工作环境：jupyter+python3.6，这是我目前用的环境，如果大家没有用过jupyter，我建议大家用一下，相信你会爱上它的。关于jupyter的安装和下载以及使用，我在这里就不说了，聪明的你自会百度或google。其次，我们再准备一下数据集：CIFAR-10图像数据，我将其放入了我的百度网盘，链接: https://pan.baidu.com/s/1yIkiL7xXHsqlXS53gxMkEg 提取码: wcc4。原始的CIFAR-10图像是一个用于普世物体识别的数据集，分为airplane、automobile、bird、cat、deer、dog、frog、horse、ship、truck共10类，但是这里为了简单起见，我用了其中3类。

注：由于在《贝叶斯之朴素理解》一文中详细地说明了关于数据的读取，这里就不多说了，直接贴出代码，相信机智的你也能看懂。

下面代码为读取数据（请保证数据集在当前文件路径下的data文件夹下）

Copy Highlighter-hljs
import numpy as np
import pandas as pd
from scipy.io import loadmat
 
train_data_mat = loadmat("./data/train_data.mat")
test_data_mat = loadmat("./data/test_data.mat")
labels_name_mat = loadmat("./data/labels_name.mat")
 
# 训练数据和标签
train_data = train_data_mat["Data"]
train_data_label = train_data_mat["Label"]
# 测试数据和标签
test_data = test_data_mat["Data"]
test_data_label = test_data_mat["Label"]
# 标签的实际名字
label_names = labels_name_mat["label_names"]
# 因为标签名字有误，我这里把它手动改一下
label_names[:, 0] = ['automobile', 'bird', 'cat', 'deer', 'dog']
 
col_name_lst = [0]*3072
 
for i in range(1, 3073):
    col_name_lst[i-1] = "x" + str(i)
 
# 结构化训练集数据
train_data = pd.DataFrame(train_data, columns=col_name_lst)
train_data_label = pd.DataFrame(train_data_label, columns=['class_no'])
train_dataFrm = train_data.join(train_data_label)
# 结构化测试集数据
test_data = pd.DataFrame(test_data, columns=col_name_lst)
test_data_label = pd.DataFrame(test_data_label, columns=['class_no'])
test_dataFrm = test_data.join(test_data_label)
 
# 上面所得到的数据是全部5类的数据，下面只取出前3类数据
train_dataFrm = train_dataFrm[train_dataFrm["class_no"] <= 3]
train_data = train_dataFrm.drop(columns=["class_no"], axis=1)
train_data_label = train_dataFrm["class_no"].copy()
 
test_dataFrm = test_dataFrm[test_dataFrm["class_no"] <= 3]
test_data = test_dataFrm.drop(columns=["class_no"], axis=1)
test_data_label = test_dataFrm["class_no"].copy()
 
# 查看取出3类后的基本的数据结构信息
# print(train_data_label.shape)
# print(train_data.shape)
# print(test_data_label.shape)
# print(test_data.shape)

2.2 实现贝叶斯#

据式（1-6）实现如下贝叶斯分类器。

计算均值向量和协方差矩阵#

Copy Highlighter-hljs
from sklearn.decomposition import PCA
# 利用PCA对原始数据进行降维
pca = PCA(n_components=21)
pca.fit(train_data)
train_data_pca = pca.transform(train_data)
test_data_pca = pca.transform(test_data)
 
train_data_pca = pd.DataFrame(train_data_pca, index=train_dataFrm.index)
test_data_pca = pd.DataFrame(test_data_pca, index=test_dataFrm.index)
 
# 求出每个类的均值向量和协方差矩阵
train_cls_cov = []# 协方差矩阵
train_cls_cov_inv = []#协方差矩阵的逆
train_cls_cov_det = []#协方差矩阵的行列式
train_cls_mean = []#均值向量
 
for i in range(0,3):
    train_cls_cov.append(np.cov(train_data_pca[train_dataFrm["class_no"]==1+i].T))
    train_cls_cov_inv.append(np.linalg.inv(train_cls_cov[i]))
    train_cls_cov_det.append(np.linalg.det(train_cls_cov[i]))
 
    train_cls_mean.append(train_data_pca[train_dataFrm["class_no"]==1+i].mean())

注：上面的代码中利了PCA对数据进行降维，关于PCA的知识，后面有时间再讨论。这里之所以要进行降维，有两原因，一是因为原始数据维度过高，求出它的协方差矩阵后，对其求行列式，行列式会变成0（其实此时不是0，是一个非常非常小的数，计算机无法存放，所以为0），二是因为原始数据的数据内容并不纯净，PCA可以起到一个去除噪声的作用。

对测试集数据进行预测#

Copy Highlighter-hljs
for img_index in range(0, test_data.shape[0]):
    determine_clf = [0]*3
    ftr_data = test_data_pca.iloc[img_index]
 
    for i in range(0, 3):
        class_mean = train_cls_mean[i]
        class_cov = train_cls_cov[i]
        class_inv = train_cls_cov_inv[i]
        class_det = train_cls_cov_det[i]
 
        prob_temp = -(np.log(class_det)*0.5+0.5 * \
            np.dot(np.dot((ftr_data-class_mean), class_inv), (ftr_data-class_mean).T))
 
        prob_temp = prob_temp + np.log(prior_series[i+1])
        determine_clf[i] = prob_temp
    # 取出其中最大值的索引，即为我们的预测值
    pred_label[img_index] = np.argmax(determine_clf) + 1
 
accu = sum(pred_label == test_data_label)/len(pred_label)
print("dimn:{0:3}-->accu:{1:.3f}".format(test_data_pca.shape[1], accu))

输出

Copy Highlighter-hljs
dimn: 21-->accu:0.722

可以看到，降到21维后，准确率为72.2%。