观测概率为多维高斯分布时对两(多)类MAP决策边界的分析

设观测概率为 \(k\) 维高斯分布 \(\displaystyle p(\boldsymbol x\mid C_i)={1\over (2\pi)^{k\over 2}|\Sigma_i|^{1\over 2}}\exp[-{1\over 2}(\boldsymbol x-\boldsymbol \mu_i)^T\Sigma_i^{-1}(\boldsymbol x-\boldsymbol \mu_i)]\)

则代入 MAP 分类器得到，决策边界为：\(\displaystyle p(\boldsymbol x\mid C_i)p(C_i)\underset{C_j}{\overset{C_i}{\gtrless}} p(\boldsymbol x\mid C_j)p(C_j)\)

两侧取对数整理得到：

\[-\ln|\Sigma_i|+2\ln p(C_i)-(\boldsymbol x-\boldsymbol \mu_i)^T\Sigma_i^{-1}(\boldsymbol x-\boldsymbol \mu)\underset{C_j}{\overset{C_i}{\gtrless}}-\ln|\Sigma_j|+2\ln p(C_j)-(\boldsymbol x-\boldsymbol \mu_j)^T\Sigma_j^{-1}(\boldsymbol x-\boldsymbol \mu_j) \]

进一步整理得到：

\[(\boldsymbol x-\boldsymbol \mu_j)^T\Sigma_j^{-1}(\boldsymbol x-\boldsymbol \mu_j)-(\boldsymbol x-\boldsymbol \mu_i)^T\Sigma_i^{-1}(\boldsymbol x-\boldsymbol \mu)\underset{C_j}{\overset{C_i}{\gtrless}}2\ln{P(C_j)\over P(C_i)}-\ln{|\Sigma_j|\over |\Sigma_i|} \]

当 \(\Sigma_i=\Sigma_j=\theta^{-1}\) 时，代入公式得到：

\[(\boldsymbol x-\boldsymbol \mu_j)^T\theta(\boldsymbol x-\boldsymbol \mu_j)-(\boldsymbol x-\boldsymbol \mu_i)^T\theta(\boldsymbol x-\boldsymbol \mu)\underset{C_j}{\overset{C_i}{\gtrless}}2\ln{P(C_j)\over P(C_i)} \]

由于 \(\boldsymbol x^T\theta\boldsymbol \mu_j\) 为标量，且 \(\theta\) 为协方差矩阵的逆矩阵，亦满足 \(\theta^T=\theta\)

故 \(\boldsymbol x^T\theta\boldsymbol \mu_j=(\boldsymbol x^T\theta\boldsymbol \mu_j)^T=\boldsymbol \mu_j^T\theta^T\boldsymbol x=\boldsymbol \mu_j^T\theta\boldsymbol x\)

同理展开可得 \((\boldsymbol \mu_i-\boldsymbol \mu_j)^T\theta(\boldsymbol \mu_i+\boldsymbol \mu_j)=\boldsymbol \mu_i^T\theta \boldsymbol \mu_i-\boldsymbol \mu_j^T\theta\boldsymbol \mu_j\)

于是可对原式化简得到：

\[(\boldsymbol \mu_i-\boldsymbol \mu_j)^T\theta(\boldsymbol x-{\boldsymbol \mu_i+\boldsymbol \mu_j\over 2})\underset{C_j}{\overset{C_i}{\gtrless}}\ln{P(C_j)\over P(C_i)} \]

由于 \((\boldsymbol \mu_i-\boldsymbol \mu_j)^T\theta\) 为一行向量，记为 \(\boldsymbol w^T\)，则上式化为 \(\boldsymbol w^T\boldsymbol x\underset{C_j}{\overset{C_i}{\gtrless}}\ln{P(C_j)\over P(C_i)}+\boldsymbol w^T\cdot {\boldsymbol \mu_i+\boldsymbol \mu_j\over 2}\)

再记 \(\ln{P(C_j)\over P(C_i)}+\boldsymbol w^T\cdot {\boldsymbol \mu_i+\boldsymbol \mu_j\over 2}=b\) 得到 \(\boldsymbol w^T\boldsymbol x\underset{C_j}{\overset{C_i}{\gtrless}}b\)

很显然判别界面是 \(k\) 维空间上一个 \((k-1)\) 维的超平面；在二维时退化为一条直线。

而当 \(P(C_i)=P(C_j)\) 且 \(\boldsymbol \mu_i=\boldsymbol \mu_j\) 时，上式化简得到：

\[(\boldsymbol x-\boldsymbol \mu)^T(\Sigma_i^{-1}-\Sigma_j^{-1})(\boldsymbol x-\boldsymbol \mu)\underset{C_j}{\overset{C_i}{\gtrless}}-\ln{|\Sigma_j|\over |\Sigma_i|} \]

该式是一个高维空间的一个曲面

当 \(|\Sigma_i|>|\Sigma_j|\) 时，\(\displaystyle \delta=-\ln{|\Sigma_j|\over |\Sigma_i|}>0\)

而相比于 MICD 分类器的决策边界：

\[(\boldsymbol x-\boldsymbol \mu)^T(\Sigma_i^{-1}-\Sigma_j^{-1})(\boldsymbol x-\boldsymbol \mu)\underset{C_j}{\overset{C_i}{\gtrless}}0 \]

可以观察到，MAP 分类器相比于 MICD 更倾向于取 \(|\Sigma_i|\) 较小的类，即更紧致的类