201119西瓜书系列博客---12、计算学习理论

201119西瓜书系列博客---12、计算学习理论

一、总结

一句话总结：

【计算机学习理论研究的是关于通过计算来进行学习的理论】，即【关于机器学习的理论基础，其目的是分析学习任务的困难本质】，为学习算法提供理论保证。

例如：【在什么条件下可进行有效的学习，需要多少训练样本才能获得较好的精度等】。

 

12.1 基础知识
    泛化误差与经验误差
12.2 PAC学习
12.3 有限假设空间
    12.3.1 可分情形
    13.3.2 不可分情形
12.4 VC维（无限假设空间）
12.5 Rademacher复杂度
12.6 稳定性

 

1、【12.2、PAC学习】？

【PAC学习中的一个关键因素是假设空间复杂度】，对于某个学习算法，【若假设空间越大，则其中包含目标概念的可能性越大，但同时找到某个具体概念的难度也越大】，一般假设空间分为有限假设空间与无限假设空间。

所以下面两节就是【有限假设空间与无限假设空间】

 

2、【12.4、VC维（无限假设空间）】？

对于无限假设空间，如实数域中的所有区间、R^d空间中的所有线性超平面，【要对此种情形的可学习性进行研究，需度量假设空间的复杂度】。

最常见的方法是【考虑假设空间的VC维】。

 

3、【12.5、Rademacher复杂度】？

【基于VC维的泛化误差界由于没有考虑数据本身(分布无关，数据独立)，得到的泛化误差界通常比较“松”】。

Rademacher复杂度是另一种刻画假设空间复杂度的途径，与VC维不同的是，【它在一定程度上考虑了数据分布】。

 

4、【12.6、稳定性】？

无论是基于VC维还是Rademacher复杂度来推导泛化误差界，【所得到的结果均与具体学习算法无关，对所有学习算法都适用】。

这使得我们可以脱离具体学习算法的设计来考虑学习问题本身的性质，但在另一方面，【若希望获得与算法有关的分析结果，则可以采用稳定性分析】。

【算法的稳定性分析考察的是算法在输入发生变化时，输出是否会随之发生较大的变化】。

 

5、【12.6、稳定性】 稳定性通过损失函数与假设空间的可学习联系在了一起，区别在于？

假设空间关注的是经验误差与泛化误差，【需要考虑到所有可能的假设】；

而稳定性【只关注当前的输出假设】。

 

 

二、12、计算学习理论

转自或参考：西瓜书学习笔记——第十二章：计算学习理论_Andrewings-CSDN博客
https://blog.csdn.net/shichensuyu/article/details/97238249