统计学习方法-1

统计学习包括监督学习、非监督学习、半监督学习以及强化学习，主要学习监督学习问题。

监督学习的任务是学习一个模型，使模型能够对任意给定的输入，对其相应的输出做出一个好的预测（这里的输入、输出是指某个系统输入输出，与学习的输入输出不同），计算机的基本操作就是给定一个输入产生一个输出，所以监督学习是极其重要的统计学习分支，也是统计学习中内容最丰富、应用最广泛的部分。

知识点：

1、欧氏空间：欧几里得空间就是对现实空间的规则抽象和推广（从n<=3推广到有限n维空间).

中学学的几何空间一般是2维、3维，如果将这些低维空间所总结的规律推广到有限的n维空间，那这些符合定义的空间则被统称为欧氏空间。

2、输入变量为有限个离散变量的预测问题称为回归问题；输出变量为有限个离散变量的预测问题称为分类问题；输入变量与输出变量均为变量序列的预测问题称为标注问题。

3、统计学习方法由三要素构成，可以简单地表示为：

方法=模型+策略+算法

构建一种统计学习方法就是确定具体的统计学习三要素。

1、1：
监督学习的实现步骤：
1.得到一个有限的训练数据集合

2、确定模型的假设空间，也就是所有的备选模型

3、确定模型选择的准则，即学习的策略

4、实现求解最优模型的算法

5、通过学习方法选择最优模型

6、利用学习的最优模型对新数据进行预测或分析

1、3统计学习三要素：
一、模型（假设空间）

二、策略：（以什么样的标准来确定这个模型就是最优的模型）

策略体现在损失函数上（损失函数就是对于每一个实例，我们的预测值与他真实值之间一个差别的惩罚）

策略：

1、4模型评估与模型选择

训练误差：

测试误差：

1、5 正则化与交叉验证

1、6 泛化能力

1、7生成模型与判别模型