第一章 绪论

第一章 绪论

• 机器学习：致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。

基本术语

• 数据集：记录的集合
• 实例（样本）：每条记录是关于一个事件或对象的描述
• 属性（特征）：反映事件或对象在某方面的表现或性质的事项
• 属性值：属性上的取值
• 属性空间（样本空间/输入空间）：属性张成空间
• 学习/训练：从数据中学得模型的过程，这个过程通过执行某个学习算法来完成。
• 训练数据：训练过程中使用的数据
• 训练样本：其中的每个样本
• 训练集（training set）：训练样本组成的集合
• 假设（hypothesis）：学得模型对应了关于数据的某种潜在规律
  机器学习，目的是使学得的模型能很好地适用于“新样本”
• 监督学习：“有导师学习”
  • 分类：预测的是离散值
    • 二分类：只涉及两个类别，通常称其中一个类为“正类”，另一个类为“反类”
    • 多分类：涉及多个类别
  • 回归：预测的是连续值
• 无监督学习：“无导师学习”
  • 聚类：概念事前不知道，在学习过程中使用的训练样本通常不拥有标记信息。

假设空间

• 科学推理的两大基本手段：
  • 归纳：从特殊到一般的“泛化”过程，即从具体的事实归结出一般性规律，
    • 广义：从样例中学习；
    • 狭义：从训练数据中学得概念，因此亦称为“概念学习”或“概念形成”；
  • 演绎：从一般到特殊的“特化”过程，即从基础原理推演出具体状况，如，在数学公理系统中，基于一组公理和推理规则推导出与之相洽的定理。
• 概念学习中最基础的是布尔概念学习，即对“是”、“不是”这样的可表示为0/1布尔值的目标概念的学习。
• 把学习过程看作一个在所有假设组成的空间中进行搜索的过程，搜索的目标是找到与训练集“匹配”的假设。
• 可能有多个假设与训练集一致，即存在着一个与训练集一致的“假设集合”，称之为“版本空间”。

归纳偏好

• 归纳偏好：机器学习算法在学习过程中对某种类型假设的偏好。
• 任何一个有效的机器学习算法必有其归纳偏好，否则它将被假设空间中看似在训练集上“等效”的假设所迷惑，而无法产生确定的学习结果。
• 奥卡姆剃刀（Occam's razor）是一种常用的、自然科学研究中最基本的原则，即“若有多个假设与观察一致，则选最简单的那个”。
• NFL（No Free Lunch）定理有一个重要前提：所有“问题”出现的机会相同。所有的问题同等重要。该定理的简短论述过程中假设了f的均匀分布而实际情形并非如此。
• 要谈论算法的相对优劣，必须要针对具体的学习问题，学习算法自身的归纳偏好与问题是否匹配，往往会起到决定性作用。