模式识别学习笔记-lecture2-统计判别2

正态分布模式的贝叶斯分类器

当已知或有理由设想类概率密度函数$P(x|{\omega }_i)$是多变量的正态分布时，贝叶斯分类器可以导出一些简单的判别函数

$M$种模式类别的多变量正态类密度函数

具有$M$种模式类别的多变量正态类密度函数为：
$$P(x|{\omega }_i)=\frac{1}{(2\pi {)}^{\frac{n}{2}}|C_i{|}^{\frac{1}{2}}}exp\left\{-\frac{1}{2}(x-m_i{)}^T{C}_i^{-1}(x-m_i)\right\}i=1,2,\cdots ,M$$
其中每一类模式的分布密度都完全被其均值向量m_i和协方差矩阵$C_i$所规定，其定义为：
$$\begin{array}{rl}{m}_i& =E_i\{x\}\\ C_i& =E_i\{(x-m_i)(x-m_i{)}^T\}\end{array}$$
$E_i\{x\}$表示对类别属于${\omega }_i$的模型的数学期望。
在上述公式中，$n$为模式向量的维数，$|C_i|$为矩阵$C_i$的行列式，协方差矩阵$C_i$是对称的正定矩阵，其对角线上的元素$C_{kk}$是模式向量第$k$个元素的方差，非对角线上的元素$C_{jk}$是$x$的第$j$个分量$x_j$和第$k$个分量$x_k$的协方差。当$x_j$和$x_k$统计独立时，$C_{jk}=0$。当协方差矩阵的全部非对角线上的元素都为0时，多变量正态类密度函数可简化为$n$个单变量正态类密度函数的乘积。
已知类别${\omega }_i$的判别函数可写成如下形式：
$$d_i(x)=P(x|{\omega }_i)P({\omega }_i),i=1,2,\cdots ,M$$
对于正态密度函数，可取自然对数的形式以方便计算(因为自然对数是单调递增的，取对数后不影响相应的分类性能)，则有：
$$d_i(x)=ln[P(x|{\omega }_i)]+lnP({\omega }_i),i=1,2,\cdots ,M$$
代入正态类密度函数，有：
$$d_i(x)=lnP({\omega }_i)-\frac{n}{2}ln(2\pi )-\frac{1}{2}ln|C_i|-\frac{1}{2}(x-m_i{)}^T{C}_i^{-1}(x-m_i),i=1,2,\cdots ,M$$
去掉和$i$无关的项(并不影响分类结果)，有：
$$d_i(x)=lnP({\omega }_i)-\frac{1}{2}ln|C_i|-\frac{1}{2}(x-m_i{)}^T{C}_i^{-1}(x-m_i),i=1,2,\cdots ,M$$
即为正态分布模式的贝叶斯判别函数，判别函数是一个超二次曲面

两类问题且其类模式都是正态分布的特殊情况

当$C_1\ne C_2$时，两类模式的正态分布为：$P(x|{\omega }_1)$表示为$N(m_1,C_1)$，$P(x|{\omega }_2)$表示为$N(m_2,C_2)$，${\omega }_1,{\omega }_2$两类的判别函数对应为：
$$\begin{gathered} d_1(x)=lnP({\omega }_1)-\frac{1}{2}ln|C_1|-\frac{1}{2}(x-m_1{)}^T{C}_1^{-1}(x-m_1) \\ {d}_2(x)=lnP({\omega }_2)-\frac{1}{2}ln|C_2|-\frac{1}{2}(x-m_2{)}^T{C}_2^{-1}(x-m_2) \\ {d}_1(x)-d_2(x)=\{\begin{array}{ll}>0& x\in {\omega }_1\\ <0& x\in {\omega }_1\end{array} \end{gathered}$$
判别界面是$x$的二次型方程，当$x$是二维模式时，判别界面为二次曲线，如椭圆、圆、抛物线或双曲线等
当$C_1=C_2=C$时，有：
$$d_i(x)=lnP({\omega }_i)-\frac{1}{2}ln|C|-\frac{1}{2}{x}^T{C}^{-1}x+\frac{1}{2}{x}^T{C}^{-1}{m}_i+\frac{1}{2}{m}_i^T{C}^{-1}x-\frac{1}{2}{m}_i^T{C}^{-1}{m}_i,i=1,2$$
因$C$为对称矩阵，上式可简化为：
$$d_i(x)=lnP({\omega }_i)-\frac{1}{2}ln|C|-\frac{1}{2}{x}^T{C}^{-1}x+m_i^T{C}^{-1}x-\frac{1}{2}{m}_i^T{C}^{-1}{m}_i,i=1,2$$
由此可导出类别${\omega }_1$和${\omega }_2$间的判别界面为：
$$d_1(x)-d_2(x)=lnP({\omega }_1)-lnP({\omega }_2)+(m_1-m_2{)}^T{C}^{-1}x-\frac{1}{2}{m}_1^T{C}^{-1}{m}_1+\frac{1}{2}{m}_2^T{C}^{-1}{m}_2=0$$
判别界面是$x$的线性函数，为一超平面，当$x$是二维时，判别界面为一直线

例题

$P({\omega }_1)=P({\omega }_2)=\frac{1}{2}$，求其判别界面

模式的均值向量$m_i$和协方差矩阵$C_i$可用下式估计：
$$\begin{array}{rl}{m}_1& =\frac{1}{N_i}\sum _{j=1}^{N_i}{x}_{ij}i=1,2\\ C_i& =\frac{1}{N_i}\sum _{j=1}^{N_i}(x_{ij}-m_i)(x_{ij}-m_i{)}^{T}i=1,2\end{array}$$
其中$N_i$为类别${\omega }_i$中模式的数目，$x_{ij}$代表在第$i$个类别中的第$j$个模式，由上式可求出：
$$\begin{gathered} m_1=\frac{1}{4}(311)T \\ {m}_2=\frac{1}{4}(133{)}^T \\ {C}_1=C_2=C=\frac{1}{16}\left(\begin{array}{ccc}3& 1& 1\\ 1& 3& -1\\ 1& -1& 3\end{array}\right),C^{-1}=4\left(\begin{array}{ccc}2& -1& -1\\ -1& 2& 1\\ -1& 1& 2\end{array}\right) \end{gathered}$$
设$P({\omega }_1)=P({\omega }_2)=\frac{1}{2}$，因$C_1=C_2$，则判别界面为：
$$\begin{array}{rl}{d}_1(x)-d_2(x)& =(m_1-m_2{)}^T{C}^{-1}x-\frac{1}{2}{m}_1^T{C}^{-1}{m}_1+\frac{1}{2}{m}_2^T{C}^{-1}{m}_2\\ & =8x_1-8x_2-8x_3+4=0\end{array}$$

均值向量和协方差矩阵的参数估计

在贝叶斯分类器中，构造分类器需要知道类概率密度函数$P(x|{\omega }_i)$，如果按照先验知识已经知道其分布，则只需要知道分布的参数即可

将参数作为非随机变量

均值和协方差矩阵的估计量定义
设模式的类概率密度函数为$p(x)$，则其均值向量定义为：
$$m=E(x)={\int }_{x}xP(x)dx$$
其中，$x=(x_1,x_2,\cdots ,x_n{)}^T,m=(m_1,m_2,\cdots ,m_n{)}^T$。
若以样本的平均值作为均值向量的近似值，则均值估计量$\hat{m}$为：
$$\hat{m}=\frac{1}{N}\sum _{j=1}^N{x}_j$$
其中$N$为样本的数目。
协方差矩阵为：
$$C=\left(\begin{array}{cccc}{c}_{11}& c_{12}& \cdots & c_{1n}\\ c_{21}& c_{22}& \cdots & c_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ c_{n1}& c_{n2}& \cdots & c_{nn}\end{array}\right)$$
其每个元素$c_{lk}$定义为：
$$\begin{array}{rl}{c}_{lk}& =E\{(x_l-m_l)(x_k-m_k)\}\\ & ={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }(x_l-m_l)(x_k-m_k)P(x_l，x_k)d{x}_{l}d{x}_k\end{array}$$
其中，$x_l,x_k,m_l,m_k$分别是$x,m$的第$l,k$个分量。
协方差矩阵写成向量形式为：
$$C=E\{(x-m)(x-m{)}^T\}=E\{x{x}^T\}-m{m}^T$$
协方差矩阵的估计量(当$N\gg 1$为：
$$\hat{C}\approx \frac{1}{N}\sum _{k=1}^N(x_k-\hat{m})(x_k-\hat{m}{)}^T$$
这里样本模式总体为$\{x_1,x_2,\cdots ,x_k,\cdots ,x_N\}$，为因为计算估计量时没有真实的均值向量$m$可用，只能用均值向量的估计量来代替，会存在偏差。
均值和协方差矩阵估计量的迭代运算形式
假设已经计算了$N$个样本的均值估计量，若再加上一个样本，其新的估计量$\hat{m}(N+1)$为：
$$\hat{m}(N+1)=\frac{1}{N+1}\sum _{j=1}^{N+1}{x}_j=\frac{1}{N+1}\left[\sum _{j=1}^N{x}_j+x_{N+1}\right]=\frac{1}{N+1}\left[N\hat{m}(N)+x_{N+1}\right]$$
其中$\hat{m}(N)$为从$N$个样本计算得到的估计量，迭代的第一步应取$\hat{m}(1)=x_1$。
协方差矩阵的估计量的迭代运算与上述相似，取$\hat{C}(N)$表示$N$个样本时的估计量为：
$$\hat{C}(N)=\frac{1}{N}\sum _{j=1}^N{x}_j{x}_j^T-\hat{m}(N){\hat{m}}^T(N)$$
加入一个样本，则：
$$\begin{array}{rl}\hat{C}(N+1)& =\frac{1}{N+1}\sum _{j=1}^{N+1}{x}_j{x}_j^T-\hat{m}(N+1){\hat{m}}^T(N+1)\\ & =\frac{1}{N+1}\left[\sum _{j=1}^N{x}_j{x}_j^T+x_{N+1}{x}_{N+1}^T\right]-\hat{m}(N+1){\hat{m}}^T(N+1)\\ & =\frac{1}{N+1}\left[N\hat{C}(N)+N\hat{m}(N){\hat{m}}^T(N)+x_{N+1}{x}_{N+1}^T\right]-\frac{1}{(N+1{)}^2}\left[N\hat{m}(N)+x_{N+1}\right]{\left[N\hat{m}(N)+x_{N+1}\right]}^T\end{array}$$
其中$\hat{C}(1)=x_1{x}_1^T-\hat{m}(1){\hat{m}}^T(1)=0$是零矩阵

将参数看做随机变量

设$\{x_1,x_2,\cdots ,x_N\}$为$N$个用于估计一未知参数$\theta$的密度函数的样本，$x_i$被一个接一个的逐次给出，于是用贝叶斯定理，可以得到在给定了$x_1,x_2,\cdots ,x_N$之后，$\theta$的后延概率密度的迭代表示式为：
$$P(\theta |x_1,\cdots ,x_N)=\frac{P(x_N|\theta ,x_1,\cdots ,x_{N-1})P(\theta |x_1,\cdots ,x_{N-1})}{P(x_N|x_1,\cdots ,x_{N-1})}$$
其中对于$P(\theta |x_1,\cdots ,x_N)$而言，$P(\theta |x_1,\cdots ,x_{N-1})$是它的先验概率，当加入了新的样本$x_N$后，得到修正之后的新的概率密度$P(\theta |x_1,\cdots ,x_N)$。如此一步步向前推，则$P(\theta )$是最初的先验概率密度，当读入第一个样本$x_1$时，经过贝叶斯定理计算，可得到后验概率密度$P(\theta |x_1)$。以此为新的一步，将$P(\theta |x_1)$作为第二部计算的先验概率密度，读入样本$x_2$，又得到第二步的后验概率密度$P(\theta |x_1,x_2)$，……，以此可以算出最终的后延概率密度$P(\theta |x_1,\cdots ,x_N)$，从而得到最终的结果。
这里需要知道最初始的概率密度$P(\theta )$和全概率$P(x_N|x_1,\cdots ,x_{N-1})$，全概率可以通过下式算出：
$$P(x_N|x_1,\cdots ,x_{N-1})={\int }_{x}P(x_N|\theta ,x_1,\cdots ,x_{N-1})P(\theta |x_1,\cdots ,x_{N-1})d\theta$$
这一个值和未知量$\theta$无关，可以认为是一个定值。