【机器学习】第1章 绪论
第1章：绪论
什么是机器学习
经典定义：利用经验改善系统自身的性能
计算机程序（算法）如何随着经验积累自动提高性能、系统自我改进的过程。
“假设用𝑃来评估计算机程序在某任务类𝑇上的性能，若一个程序通过利用经验𝐸在𝑇中任务上获得了性能改善，则我们就说关于𝑇和𝑃，该程序对𝐸进行了学习”
三个特征：
某类任务T：Task
性能P：Performance
经验E：Experience or Examples
🔺根据训练数据是否拥有标记信息，学习任务分为“监督学习”与“无监督学习”。
⭐监督学习（supervised learning）：分类、回归
如果我们预测的值是离散值，此类学习任务称为“分类”；
若欲预测的是连续值，此类学习任务称为“回归”。
⭐无监督学习（unsupervised learning）：聚类
半监督学习：两者结合
泛化能力和归纳偏好
机器学习的目标是使得学到的模型能很好的适用于“新样本”,而不仅仅是训练集合，我们称模型适用于新样本的能力为泛化(generalization)能力。
版本空间：与训练数据一致的假设集合
学习过程中对某种类型假设的偏好称作归纳偏好
“奥卡姆剃刀”：若有多个假设与观察一致，选最简单的那个
没有免费的午餐定理
一个算法a如果在某些问题上比另一个算法b好，必然存在另一些问题，b 比a好,也即没有免费的午餐定理。
没有免费的午餐-启发
对于任意的固定训练集X，对于所有的目标函数f（问题）求平均（均匀分布），所有学习算法的训练集外误差之期望值相同。
学习算法自身的归纳偏好与问题是否匹配，会起决定性作用
