机器学习：绪论
西瓜书第一章的知识点如下：
1.1 基本术语
机器学习正是这样的一门学科，人的“经验”对应计算机中的“数据”，让计算机来学习这些经验数据，生成一个算法模型，在面对新的情况中，计算机便能作出有效的判断，这便是机器学习。
⭐另一本经典教材的作者Mitchell给出了一个形式化的定义，假设：
P：计算机程序在某任务类T上的性能。
T：计算机程序希望实现的任务类。
E：表示经验，即历史的数据集。
若该计算机程序通过利用经验E在任务T上获得了性能P的改善，则称该程序对E进行了学习。
🔍所有记录的集合为：数据集。
🔍每一条记录为：一个实例（instance）或样本（sample）。
- 例如：西瓜的色泽或敲声，单个的特点为特征（feature）或属性（attribute）。
🔍对于一条记录，如果在坐标轴上表示，每个西瓜都可以用坐标轴中的一个点表示，一个点也是一个向量，例如（青绿，蜷缩，浊响），即每个西瓜为：一个特征向量（feature vector）。
🔍一个样本的特征数为：维数（dimensionality），当维数非常大时:“维数灾难”。
🔍计算机程序学习经验数据生成算法模型的过程中，每一条记录称为一个“训练样本”，同时在训练好模型后，我们希望使用新的样本来测试模型的效果，则每一个新的样本称为一个“测试样本”。
-
所有训练样本的集合为：训练集（trainning set）
-
所有测试样本的集合为：测试集（test set）
🔍机器学习出来的模型适用于新样本的能力称为：泛化能力（generalization）。
🔍
预测值为离散值的问题为：分类（classification）。
预测值为连续值的问题为：回归（regression）。
🔍
训练数据有标记信息的学习任务为：监督学习（supervised learning），分类和回归都是监督学习的范畴。
训练数据没有标记信息的学习任务为：无监督学习（unsupervised learning），常见的有聚类和关联规则。
1.2 假设空间
归纳：从具体事实中归结出一般性规律，从特殊到一般的“泛化”过程。
演绎：从基础原理推演出具体状况，从一般到特殊的“特化”过程。
1.3 归纳偏好
（归纳）偏好：机器学习算法在学习过程中对某种类型假设的偏好。
奥卡姆剃刀（Occam's razor）:若有多个假设与观察一致，则选择最简单的那个。
NFL定理：所有学习算法在考虑所有潜在的问题时的期望值都相同。
