各种风险及其最小化的解释

各种风险及其最小化的解释

对于给定的输入 \(X\) ，由 \(f(X)\) 给出输出 \(Y\) ，这个输出的预测值 \(f(X)\) 与真实值 \(Y\) 可能一致也可能不一致，用一个损失函数 (loss function) 来度量预测错误的程度，记作 \(L(Y,f(X))\) 。

常用的损失函数比如 0-1 损失函数：

\[L(Y,f(X)) =\left\{ \begin{aligned} 1, & & Y \neq f(X) \\ 0, & &Y = f(X) \end{aligned} \right. \]

期望风险（expected loss）

\[R_{exp} = E_p[L(Y,f(X))] \]

学习的目的就是选择期望风险最小的模型。

经验风险(empirical risk)

模型 \(f(X)\) 关于训练集的平均损失称为经验风险，记作：

\[R_{emp} = \frac{1}{N}\sum_{i=1}^{N}L(y_i, f(x_i)) \]

当样本容量很小时，经验风险最小化的学习效果未必好，会产生过拟合现象。

结构风险（Structural Risk Minimization）

结构风险最小化是为了防止过拟合而提出的策略。结构风险最小化在经验风险上加入了表示模型复杂度的正则化项。定义是：

\[R_{srm}(f) = \frac{1}{N}\sum_{i=1}^{N}L(y_i, f(x_i)) + \lambda J(f) \]