概念学习（Concept learning）
从特殊的训练样例中归纳出一般函数是机器学习的核心问题。一般函数是对理想目标函数的函数逼近（function approximation）。简而言之，从特殊到普通。与此对应的是演绎推理（deductive reasoning），就是从一般性的前提出发，通过推导（即“演绎”），得到具体的称述或个别结论的过程（可以看作预测过程，根据一般规律得出结论）。
归纳学习假设：任一假设如果在足够大的训练样例集中很好地逼近目标函数，它也能在未见实例中很好地逼近目标函数。只是这里的足够大的定义不是很好确定。另外，这只是一个假设，虽然具有合理性，但难道这个假设就一定是最好的么
概念学习是指从有关某个布尔函数的输入输出训练样例中推断出该布尔函数。这里假设并限定了目标函数是布尔函数。另外，这是一个由特殊向一般的过程。
如果把概念学习看做是一个搜索过程，范围是假设的表示所隐含定义的整个空间。搜索的目标就是为了寻找能最好地拟合训练样例的假设。
在心理学中，概念学习就是学习把具有共同属性的事物集合在一起并冠以一个名称，把不具有此类属性的事物排除出去。学习的过程具有排他性。由此，也可以看出为什么ML中的概念学习总表示为一个布尔函数（排他性，不是即非啊）。
归纳学习假设：任一假设如果在足够大的训练样例中很好地逼近目标函数，它也能在未见实例中很好地逼近目标函数。
概念学习可以看作是一个搜索过程，范围是假设的表示所隐含定义的整个空间。搜索的目标是为了寻找能最好地拟合训练样例的假设。
FIND-S:寻找极大特殊假设（从特殊到普通的线路），对反例不做处理，并且只是所有可能假设（all possible hypothesis）H中的一个。
-
- 将h初始化为H中最特殊的假设。
- 对每一个正例x，对h的每一个属性约束ai，如果x满足ai那么不做任何处理；否则将h中ai替换为x满足的下一个更一般约束。
- 输入假设h。
候选消除算法（Candidate-Elimination）的输出是与训练样例一致的所有假设的集合。
当一个假设h与训练样例集合D一致，当且仅当对D中每一个样例<x, c(x)>都有h(x) = c(x)。数学表示为：Consistent(h, D) ≡ (∀<x, c(x)> ∈ D) h(x) = c(x) 注：通俗讲，就是假设输出和样本输出完全一致。
关于假设空间H和训练样例集D的变型空间，标记为VSH，D，是H中与训练样例D一致的所有假设构成的子集。数学表示为：VSH,D≡ { h ∈ H | Consistent(h, D)}
列表消除算法：
-
- 变型空间VersionSpace←包含H中所有假设的列表
- 对每个训练样例<x, c(x)>，从变型空间中移除所有h(x）≠ c(x)的假设h
- 输出VersionSpace中的假设列表。
定义：令hj和hk为在X上定义的布尔函数。称hj more_general_than_or_equal_to hk(记作hj≥ghk)，当且仅当(∀x∈ X) [(hk(x) = 1) →(hj(x) = 1)] 注：满足hk必然满足hj
定义：关于假设空间H和训练数据D的一般边界（general boundary）G，是在H中与D相一致的极大一般（maximally general）成员的集合。 G ≡ { g ∈ H | Consistent(g, D) ∧ (￢ ∃g'∈H)[(g' ＞ gg)∧Consistent(g, D)]}
定义：关于假设空间H和训练数据D的特殊边界（specific boundary）S，是在H中与D相一致的极大特殊（maximally specific）成员的集合。S ≡ { s ∈ H | Consistent(s, D) ∧ (￢ ∃s'∈H)[(s ＞ ss')∧Consistent(s', D)]}
变型空间表示定理：令X为一任意的实例集合，H为X上定义的布尔函数假设的集合。
令c:→X{0, 1}为X上定义的任一目标概念，并令D为任一训练样例的集合{<x, c(x)>}。对所有的X，H，c，D以及良好定义的S和G: VSH,D = { h ∈ H | (∃s∈S)(∃g∈G)(g≥gh≥gs)}
图1 实例视图
17. 使用变形空间的候选消除算法。在最初阶段G和S:G0←{ <?, ?, ?, ?, ?, ?> }(最一般)和S0←{ <Φ, Φ, Φ, Φ, Φ, Φ> }(最不一般)
从上图可以看出，变形空间具有层次性，且根据属性个数来划分。G是0开始，而S是从max开始。候选消除算法成立的条件：1.在训练样例中没有错误；2.H中确实包含描述目标概念的正确假设。如果S和G收敛到一个空的结合，那么说明样例中有错误。
将G集合初始化为H中极大一般假设
将S集合初始化为H中极大特殊假设
对每个训练样例d，进行以下操作：
- 如果d是一正例
- 从G中移去所有与d不一致的假设
- 对S中每个与d不一致的假设s
- 从S中移去s
- 把s的所有的极小一般化式h加入到S中，其中h满足
- h与d一致，而且G的某个成员比h更一般
- 从S中移去所有这样的假设：它比S中另一假设更一般
- 如果d是一个反例
- 从S中移去所有与d不一致的假设
- 对G中每个与d不一致的假设g
- 从G中移去g
- 把g的所有的极小特殊化式h加入到G中，其中h满足
- h和d一致，而且S的某个成员比h更特殊
- 从G中移去所有这样的假设：它比G中另一假设更特殊
18. 定义:考虑对于实例集合X的概念学习算法L(归纳学习)。令c为X上定义的任一概念，并令Dc = {<x, c(x)>}为c的任意训练样例集合。令L(xi, Dc)表示经过数据Dc的训练后L赋予实例xi的分类。L的归纳偏置是最小断言集合B（前提集合），它使任意目标概念c和相应的训练样例Dc满足：(∀xi ∈ X)[(B ∧ Dc ∧ xi) ├ L(xi, Dc)]。注：这里的前提就是c ∈ H这个前提，即B = { c ∈ H }，符号├是演绎的意思。
