【模式识别与机器学习】——2.2正态分布模式的贝叶斯分类器

出发点：

　　当已知或者有理由设想类概率密度函数P(x|ωi )是多变量的正态分布时，上一节介绍的贝叶斯分类器可以导出一些简单的判别函数。 由于正态密度函数易于分析，且对许多重要的实际应用又是一种合适的模型，因此受到很大的重视。

（贝叶斯分类规则是基于统计概念的。 如果只有少数模式样本，一般较难获得最优的结果）

正态分布模式的贝叶斯判别函数

具有M种模式类别的多变量正态类密度函数为：

其中，每一类模式的分布密度都完全被其均值向量m_i和协方差矩阵C_i所规定，其定义为：

 

E_i{x}表示对类别属于ω_i的模型的数学期望。

对于n维研究对象X{x1,x2,x3...}（共有N个)属于w1或w2，他们的mi和ci可以定义为：

注：m1,c1,N1,X1j是w1的参数；m2,c2,N2,X2j是w2的参数；xij规定以列向量形式表示

正态分布模式的贝叶斯判别函数：属于类别ω_i的判别函数

 

两类问题且其类模式都是正态分布的特殊情况

　　由以上可知，算出d1(x)和 d2(x)，判别界面即为d1(x)- d2(x)=0，即当判别界面d1(x)- d2(x)>0时视为w1类；当判别界面d1(x)- d2(x)<0时视为w2类。

　　① 当C1≠C2时的情况 显然，判别界面d1(x)- d2(x)=0是x的二次型方程，即ω1和ω2两类模式可用二次判别界面分开。 当x是二维模式时，判别界面为二次曲线，如椭圆，圆，抛物线或双曲线等。

　　② 当C1=C2 =C时的情况 判别界面为x的线性函数，为一超平面。 当x是二维时，判别界面为一直线。

两类问题且其类模式都是正态分布的实例

模式分布如图所示，若作为正态分布处理，且P(ω₁)=P(ω₂)=1/2，求其判别界面。

模式的均值向量m_i和协方差矩阵C_i可用下式估计：

　　其中N其中N_i为类别为类别ω_i中模式的数目，x中模式的数目，x_ij代表在第i个类别中的第j个模式。由上式可求出：

设P(ω₁)=P(ω₂)=1/2，因C₁=C₂，则判别界面为：（记住这个公式和其使用的特殊条件，以简化计算）

M种模式类别的多变量正态类密度函数

　　判别函数是一个超二次曲面。 对于正态分布模式的贝叶斯分类器，两个模式类别之间用一个二次判别界面分开，就可以求得最优的分类效果。