【模式识别与机器学习】——2.1贝叶斯判别法

一.作为统计判别问题的模式分类

　　模式识别的目的就是要确定某一个给定的模式样本属于哪一类。 可以通过对被识别对象的多次观察和测量，构成特征向量，并将其作为某一个判决规则的输入，按此规则来对样本进行分类。在获取模式的观测值时，有些事物具有确定的因果关系，即在一定的条件下，它必然会发生或必然不发生。但在现实世界中，由许多客观现象的发生，就每一次观察和测量来说，即使在基本条件保持不变的情况下也具有不确定性。 只有在大量重复的观察下，其结果才能呈现出某种规律性，即对它们观察到的特征具有统计特性。 特征值不再是一个确定的向量，而是一个随机向量。 此时，只能利用模式集的统计特性来分类，以使分类器发生错误的概率最小。

二.贝叶斯判别原则

2.1 两类模式集的分类

目的：要确定x是属于ω1类还是ω2类，要看x是来自于ω1类的概率大还是来自ω2类的概率大。

2.2 贝叶斯判别规则

对于自然属性是属于ωi类的模式x来说，它来自ωi类的概率应为P(ωi |x)

根据概率判别规则，有：

由贝叶斯定理，后验概率P(ω_i | x)可由类别ω_i的先验概率P(ω_i)和x的条件概率密度p(x | ω_i)来计算，即：

这里p(x | ω_i)也称为似然函数。将该式代入上述判别式，有：

        或      

其中，l₁₂称为似然比，P(ω₂)/P(ω₁)=θ₂₁称为似然比的判决阈值，此判别称为贝叶斯判别。

 

2.3 贝叶斯判别示例

问题描述：

　　对某一地震高发区进行统计，地震以ω1类表示，正常以ω2类表示 统计的时间区间内， 每周发生地震的概率为20%，即P(ω1)=0.2，当然P(ω2)=1-0.2=0.8 在任意一周，要判断该地区是否会有地震发生。显然，因为P(ω2)> P(ω1)，只能说是正常的可能性大。如要进行判断，只能其它观察现象来实现。通常地震与生物异常反应之间有一定的联系。

　　若用生物是否有异常反应这一观察现象来对地震进行预测，生物是否异常这一结果以模式x代表，这里x为一维特征，且只有x=“异常”和x=“正常”两种结果。假设根据观测记录，发现这种方法有以下统计结果：

地震前一周内出现生物异常反应的概率=0.6，即p(x=异常| ω1)=0.6

地震前一周内出现生物正常反应的概率=0.4，即p(x=正常| ω1)=0.4

一周内没有发生地震但也出现了生物异常的概率=0.1，即p(x=异常| ω2)=0.1

一周内没有发生地震时，生物正常的概率=0.9，即p(x=正常| ω2)=0.9

　　若某日观察到明显的生物异常反应现象，一周内发生地震的概率为多少，即求P(ω1 | x=异常)=？

解决过程：

三.最小风险贝叶斯决策

3.1 问题提出

在决策中，除了关心决策的正确与否，有时我们更关心错误的决策将带来的损失。比如在判断细胞是否为癌细胞的决策中，

　　若把正常细胞判定为癌细胞，将会增加患者的负担和不必要的治疗，

　　但若把癌细胞判定为正常细胞，将会导致患者失去宝贵的发现和治疗癌症的机会，甚至会影响患者的生命。

这两种类型的决策错误所产生的代价是不同的。考虑各种错误造成损失不同时的一种最优决策，就是所谓的最小风险贝叶斯决策。

3.2 损失函数和决策表 

设对于实际状态为wj的向量x采取决策αi所带来的损失为

 　　　　　　　　　　

　　该函数称为损失函数，通常它可以用表格的形式给出，叫做决策表。需要知道，最小风险贝叶斯决策中的决策表是需要人为确定的，决策表不同会导致决策结果的不同，因此在实际应用中，需要认真分析所研究问题的内在特点和分类目的，与应用领域的专家共同设计出适当的决策表，才能保证模式识别发挥有效的作用。

3.3 计算步骤

对于一个实际问题，对于样本x，最小风险贝叶斯决策的计算步骤如下： 
（1）利用贝叶斯公式计算后验概率： 

　　

其中要求先验概率和类条件概率已知。 
（2）利用决策表，计算条件风险： 

 　　

（3）决策：选择风险最小的决策，即： 

　　

（4）公式的整合规范（换一种表达）

说明：==       ==

 

3.4 示例1

现在用之前的判别细胞是否为癌细胞为例。状态1为正常细胞，状态2为癌细胞，假设： 

　　　　

（1）利用贝叶斯公式计算后验概率： 

　　

（2）利用决策表，计算条件风险： 

　　

　　

（3）决策：选择风险最小的决策，即：

　　

即判别为1类的风险更大，根据最小风险决策，应将其判别为2类，即癌细胞。 
由此可见，因为对两类错误带来的风险的认识不同，从而产生了与之前不同的决策。显然，但对不同类判决的错误风险一致时，最小风险贝叶斯决策就转化成最小错误率贝叶斯决策。最小错误贝叶斯决策可以看成是最小风险贝叶斯决策的一个特例。

 3.5 两类（M=2）情况的贝叶斯最小风险判别

选M=2，即全部的模式样本只有ω₁和ω₂两类，要求分类器将模式样本分到ω₁和ω₂两类中，则平均风险可写成：

当分类器将x判别为ω₁时：

当分类器将x判别为ω₂时：

若r₁(x)<r₂(x)，则x被判定为属于ω₁，此时：

3.6 两类（M=2）情况的贝叶斯最小风险判别实例

　　如图所示为一信号通过一受噪声干扰的信道。信道输入信号为0或1，噪声为高斯型，其均值μ=0，方差为б²。信道输出为x，试求最优的判别规则，以区分x是0还是1。设送0为ω₁类，送1为ω₂类，从观察值x的基础上判别它是0还是1。直观上可以看出，若x<0.5应判为0，x>0.5应判为1。

用贝叶斯判别条件分析：

　　设信号送0的先验概率为P(0)，送1的先验概率为P(1)，L的取值为：这里a₁和a₂分别对应于输入状态为0和1时的正确判别，L₁₂对应于实际上是ω₁类但被判成ω₂类(a₂)时的代价，L₂₁对应于实际上是ω₂类但被判成ω₁类(a₁)时的代价。正确判别时L取0。

当输入信号为0时，受噪声为正态分布N(0,б²)的干扰，其幅值大小的概率密度为：

　　　　

当输入信号为1时：

　　　　

（1）

（2）若取L₂₁=L₁₂=1，P(1)=P(0),则x<1/2判为0。

（3）若无噪声干扰，即б²=0，则x<1/2判为0。