连续变量的贝叶斯定理计算

根据贝叶斯定理，当观测到值 \(x\)，其属于分类 \(w_i\) 的概率为：

\[P(w_i|x) = \frac{P(x|w_i)P(w_i)}{P(x)} \]

显然，当 \(x\) 为离散型变量时，\(P(x)\) 和 \(P(x|w_i)\) 均可直接计算频率得出。

当 \(x\) 为连续型变量时，则有：

\[P(w_i|x) \approx P(w_i|x \leq X \leq x + \varepsilon) = \frac{P(x \leq X \leq x + \varepsilon|w_i)P(w_i)}{P(x \leq X \leq x + \varepsilon)} \]

令 \(f_{x|w_i}\) 为分类 \(w_i\) 中变量 \(x\) 的概率密度函数，\(f_{x}\) 为总体中的概率密度函数。当 \(ε\) 非常小时，根据积分定义，有：

\[\frac{P(x \leq X \leq x + \varepsilon|w_i)P(w_i)}{P(x \leq X \leq x + \varepsilon)} \approx \frac{P(w_i)f_{x|w_i}(x) \varepsilon}{f_{x}(x)\varepsilon} = \frac{P(w_i)f_{x|w_i}(x)}{f_{x}(x)} \]

由于实际推断中，\(x\) 是定值，即 \(f_{x}(x)\)为定值，因此可直接用\(P(w_i)f_{x|w_i}(x)\)进行比较