机器学习笔记 第一章 绪论

基本术语

“模型”泛指从数据中学到的结果，还可以指全局性结果（如一个决策树），而用“模式”指局部性结果（如一条规则）。

假设空间

尽管训练集通常只是样本空间的一个很小的采样，但是我们仍希望它可以很好第反映出样本空间的特性，否则就很难在训练集上学到的模型能在整个样本空间上都工作的很好。
也就是说，我们需要保证训练的数据在样本空间中是独立同分布的。

归纳偏好

机器学习算法在学习过程中对某种类型假设的偏好，称为“归纳偏好”。
有效的算法需要有一个归纳偏好，不然这个算法就会将很多假设平等看待，以至于产生不确定的结果。

奥卡姆剃刀是一个好的原则，但是如何判断谁更“简单”却不容易。

没有免费的午餐定理成立的条件是：所有的问题都同等重要，并关注所有的问题。但是在实际情况下，我们只关注特定的问题。