李航统计学习方法(第二版)基本概念（三）：统计学习方法三要素

1.简介

统计学习方法都是由模型、策略和算法构成的

2.模型

在监督学习过程中，模型就是所要学习的条件概率分布或决策函数。

模型的假设空间包含所有可能的条件概率分布或决策函数。

2.1 决策函数模型

 

 

 

 

2.2 条件概率

 

 

 决策函数表示的模型为非概率模型，由条件概率表示的模型为概率模型

3 学习策略

考虑的是按照什么样的准则学习或选择最优的模型。

3.1 损失函数

损失函数度量模型一次预测的好坏

 

 

 3.1.1 0-1损失函数

 3.1.2 平方损失函数

 3.1.3 绝对损失函数

 3.1.4 对数损失函数

3.2 风险函数

风险函数度量平均意义下模型预测的好坏。

3.2.1 风险函数（期望损失）：损失函数的期望

3.2.2 经验风险（经验损失）：

 3.2.3 总结

期望风险是模型关于联合分布的期望损失，经验风险是模型关于训练样本集的平均损失。

3.3 经验风险最小化与结构风险最小化

3.3.1 经验风险最小化

经验风险最小化(empirical risk minimization ERM)的策I咯认为，经验风险最小的模型是最优的模型。

3.3.2 结构风险最小化

    结构风险最小化(structural risk minimization，SRM)是为了防止过拟合而提出来的策略。结构风险最小化等价于正则化(regularization) 结构风险在经验风险上加上表示模型复杂度的正则化项(regularizes)或罚项(penalty term )。

 结构风险定义

 

 结构风险最小化策略

4 算法

算法是指学习模型的具体计算方法。

随机梯度下降