什么是机器学习

注：本文是《Mitchell机器学习 引言》学习笔记 

概览

1 实践的幂定律：指出对于很大范围内的学习问题，人们的反应速度随着时间次数幂级提高。（所以过遍数是背G单词的王道，深有体会）

2 学习的定义：某计算机程序在某类任务T上以度量P衡量的能力随着经验E而自我完善——通过经验提高能力的某类程序。

这里涉及了三个因素：任务的种类，衡量任务提高的标准，经验的来源

(1)    任务的种类à要学习的知识的确切类型（目标函数）à对这个目标知识的表示（目标函数表示），对于西洋跳棋学习就是ChooseMove()或Valuation()。

(2)    标准和经验共同构成了学习机制（函数逼近算法）。在这里要注意学习的三种形式：施教，提问，自学习。自学习是种高级形式，非常有吸引力。

(3)    举例：对于垃圾评论的识别分类问题，任务是识别垃圾评论，标准是识别准确率，经验是已知分类的垃圾，正常评论数据集合。

最后，要明确定义学习是为了精确地定义一类问题，其中囊括了有趣的学习形式，探索解决这类问题的方法，理解学习问题的基本结构和过程。

3 学习系统设计

执行系统，鉴定器，泛化器，实验生成器。如下图：

 4 一个有效的观点：机器学习问题经常归结于搜索问题，即对非常大的假设空间进行搜索，以确定最佳拟合实例数据和学习器已有知识的假设。

问题

1 训练值估计法则Vtrain(b)ßV’(Successor(b))，具体是怎样实现的？

2 如何证明，在特定条件下，这种基于对后继棋局进行估计的迭代估计训练值的方法可以近乎完美地收敛到Vtrain估计值？

3 什么条件下，最小化误差平方和等价于寻找给定训练数据下的最可能假设？

4 如何寻找真实函数V的合理近似？当确认近似形式时，如何确保相应的学习技术能发现该合理的近似？理论分析。