ML一（概念学习和一般到特殊序）

概念学习和一般到特殊序

Concept Learning and the General-To-Specific Ordering

1 简介

1.1 定义

　　概念学习（Concept Learning）：考虑的问题是，给定一样例集合以及每个样例是否属于某一概念的标注，怎样自动推出该概念的一般定义。

　　定义：从有关某个布尔函数的输入输出训练样例中推断出该布尔函数。

1.2 概念学习任务

　　EnjoySport的例子：

1.3术语定义

实例（instance）

目标概念（target concept）：待学习的概念或函数，记为c。

训练样例（training examples）

正例（positive example）反例（negative example）

所有可能假设（all possible hypotheses）

2假设的一般到特殊序（General-to-Specific Ordering of Hypotheses）

　　More_general_than_or_equal_to:

3 Find-S：寻找极大特殊假设

　　考虑表2.1的例子：

 

 

 

 

 

 

 

　　Find-S算法简单地忽略每一个反例。

4 变型空间和候选消除算法The Candidate-Elimination Algorithm

4.1 表示

　　一致（Consistent）

　　变型空间（version space）

4.2 列表后消除算法the List-Then-Eliminate Algorithm

4.3 变型空间的更简洁表示

　　一般边界（general boundary）

　　特殊边界（specific boundary）

　　变型空间

4.4 候选消除算法Candidate-Elimination Learning Algorithm

 

5.5 算法举例

5 归纳偏置Inductive Bias

　　归纳偏置（inductive bias）：由于归纳学习需要某种形式的预先设定。

 

参考材料：Machine Learing, Tom M.Mitchell