【证明】期望风险最小化等价后验概率最大化

目录

• 引言
• 证明
• 结论

引言

在《统计学习方法》一书中，详细说明了期望风险最小化与后验概率最大化之间的关系，但是其中的公式推导过程有所省略，这篇文章作为补充说明。

证明

首先我们假设损失函数为0-1损失函数

\[Loss=L(Y， f(X))= \begin{cases} 1，\quad Y \neq f(X) \\ 0， \quad Y=f(X) \end{cases} \]

则期望风险为

\[\begin{aligned} R_{exp}(f)=R_{exp}(L(Y, f(X))) &=\int_{X \cdot Y} L(y,f(x))P(y,x)dxdy\\ & =\int_{X \cdot Y} L(y,f(x))P(y|x)P(x)dxdy \\ & =\int_{X} \int_{Y}L(y,f(x))P(y|x)dyP(x)dx = \int_{X} \Bigg(\int_{Y}L(y,f(x))P(y|x)dy\Bigg) P(x)dx \\ & = E_{x} \Bigg(\int_{Y}L(y,f(X))P(y|X)dy\Bigg) \end{aligned} \]

在朴素贝叶斯估计中是数据是离散的，故

\[\begin{aligned} R_{exp}(f)=E_{x} \Bigg(\int_{Y}L(y,f(X))P(y|X)dy\Bigg) &=E_{x}\Bigg(\sum_{k}^{K}L(c_{k},f(X))P(c_{k}|X)\Bigg) \end{aligned} \]

因此如果要使得期望风险最小化只需要对\(X=x\)逐个极小化即可

\[\begin{aligned} F(x) &= \underset{ y \in Y }{\operatorname{argmin}} \sum_{k}^{K}L(c_{k},y)P(c_{k}|X=x) \quad \because y=f(X=x) \\ & \because Equation(1) \quad when \quad y=c_{k} \quad L(c_{k},y) =0 \\ & = \underset{ y \in Y }{\operatorname{argmin}} \sum_{k}^{K}P(c_{k} \neq y|X=x) \\ & \because Each \quad X=x \quad has \quad only \quad one \quad c_{k}=y=f(X=x) \\ & = \underset{ y \in Y }{\operatorname{argmin}}(1 - P(c_{k} = y|X=x)) \\ & = \underset{ y \in Y }{\operatorname{argmax}}P(c_{k} = y|X=x) \\ \end{aligned} \]

结论

可证期望风险最小化等价于后验概率最大化