机器学习
拥有标记的信息称为样例。
(xi,yi)表示第i个样例,其中yi E Y 是示例xi的标记, Y是所有标记的集合。亦成为标记空间
预测离散值,好瓜,坏瓜,这类学习任务称为分类。classification.
若预测连续的值,如西瓜成速度0.95,0.37,此类学习称为回归
对涉及两个类别的分类任务,二分类,一个类是正类,一个类是反类。涉及多个分类是多分类
预测任务是通过对训练集{(x1,y1),(x2,y2)....(xm,ym)}进行学习建立一个从输入空间到输出空间Y的映射。
测试集,测试样本。
聚类,将训练集分成若干组,每一组称为一个簇。
根据训练数据是否带有标记信息,分为监督学习supervised learning 包括分类和回归
无监督学习unsupervised learning 包括聚类
学习模型适应于新样本的能力称为泛化
假设样本空间全体是个未知分布D, 每个样本都是独立的从这个样本空间采样活得的。即独立同分布,independent and
identically distributed iid.
归纳和演绎是科学推理两大基本手段。前者是从特殊到一般的泛化过程,即从具体事实归结出一般规律。后则从一般规律
到特殊的特化过程。即从基础原理推演出具体状况。
归纳学习有狭义与广义之分。广义的归纳学习大体相当于从样例中学习,而狭义的归纳学习则要求从训练数据中学得概念。
因此亦称概念学习或概念形成。(想要学得泛化性能好且语义明确的概念实在太困难了)最简单的概念学习是bool概念学习
,即对是或不是可表示为0/1布尔值的目标概念的学习。
学习过程看作一个在所有假设组成的空间中进行搜索的过程。搜索的目的是为了找到与训练集匹配的假设,即能够将训练集
中的瓜判断正确的假设。
现实中假设空间大,训练集小,存在一个与训练集一致的假设集合,我们称之为版本空间。
使用偏好解决样本空间问题。
原则,奥卡姆剃刀原则。多个假设与观察一致,选择最简单的那个。算法的归纳偏好于问题本身匹配觉定了算法好坏。
第2章,模型评估与选择
经验误差与过拟合。 精度=1-错误率
机器学习的实际预测输出与样本的真实输出之间的差异称为误差。学习器在训练集上的误差称为训练误差。或经验误差。
在新样本上的误差称为泛化误差。
过拟合,欠拟合。学习能力过于强大。欠拟合容易克服,在决策树学习扩展分支,神经网络学习增加训练轮数。
模型选择问题, 选择泛化误差小的那个模型。
评估方法。通过测试对学校器的泛化误差进行评估。需要使用测试集。以测试误差作为泛化误差的近似。
测试集尽量与训练集互斥。
拥有m个样例的数据集。如何产生训练集和测试集。
2.2.1 留出法
将数据集划分成两个互斥道集. 保留类别比例的采样方式称为分层采样。例如通过对D进行分层采样获得70%的训练
集S和30%的样本测试集T. 使用留出法时,一般要采用若干次随机划分,重复进行评估,取平均值作为评估结果。
遇到的窘境,若S太大接近D,训练出的模型接近于用D训练出来的模型,但T较小评估结果不够稳定。反之,与用D训练
出的模型差别较大。常见的做法是用2/3~ 4/5作为训练,剩余做测试。
2.2.2 交叉验证法。
将D划分为k个大小相似的互斥子集,每个子集Di都尽可能保持数据分布一致性,即从D中通过分层采样得到。然后
每次用k-1个子集的并集作为训练集,剩余的那个子集作为测试集。这样将得到k组训练/测试集,从而进行k次训练
和测试,最终返回的是k个测试结果的均值。通常把交叉验证法称为k折交叉验证。 k最常用的取值是10,其他k值
有5,20等。
子集划分,通常要随机使用不同划分重复p次,最终评估结果是这p次k折交叉验证结果的均值。常见10次10折交叉验证
假定数据集D中包含m个样本,若令k=m,则交叉验证法定特例:留一法 LOO. 不受随机样本划分的影响。
因为m个样本只有1个方式划分为m个子集每个子集包含1个元素。 优点评估模型接近D.
缺陷:数据集比较大计算开销难以忍受。
2.2.3自助法
以自助采样法为基础(bootstrap sampling) 每次随机从D中选择一个样本,将其拷贝放入D',然后再将该样本放回数据
集D中,使得样本下次采样仍可能被采到。被采到的概率(1-1/m)^m 取极限 0.368。 用D'做训练集,D\D‘做测试集
自助法在数据集较小,难以划分训练/测试集时很有用。自助法能产生不同的训练集。
缺点,改变了数据集分别,容易引入估计偏差。
2.2.4调参与最终模型