【读书笔记】周志华《机器学习》第三版课后习题讨<第一章-绪论>
虽然是绪论。。但是。。。真的有点难!不管怎么说,一点点前进吧。。。
声明一下答案不一定正确,仅供参考,为本人的作答,希望大神们能多多指教~
1.1 表1.1中若只包含编号为1和4的两个样例,试给出相应的版本空间。
解答:本题考查版本空间、假设空间的概念。简而言之,假设空间是该问题情景下,所有的取值可能性(包括单属性泛化、二属性泛化、X属性泛化……全泛化的情况),而版本空间则是指在测试用样本情境下,满足样本内所有正例的假设集合(一般版本空间内的假设都是带有属性泛化)。
我们先来看一下1和4样例组成的表,以供接下来探讨进行参考:
编号 | 色泽 | 根蒂 | 敲声 | 好瓜? |
1 | 青绿 | 蜷缩 | 浊响 | 是 |
4 | 乌黑 | 稍蜷 | 沉闷 | 否 |
解题中,要紧扣“我只知道这张表的信息,去推测整体”的思想。根据此表信息,假设空间是(2+1)X(2+1)X(2+1)+1=28种假设,版本空间则应该是假设空间内能确定1是好瓜,同时刚好能排除4是好瓜的所有可能,所以应该是(色泽=青绿)∧(根蒂=蜷缩)∧(敲声=浊响),以及本例的一个属性泛化(三种),和两个属性泛化(三种),共7种。不可加入三属性泛化,因为(色泽=*)∧(根蒂=*)∧(敲声=*),这种情况会把编号4也判定为好瓜,与样本不符。
1.2 与使用单个合取式来进行假设表示相比,使用“析合范式”将使得假设空间具有更强的表示能力。若使用最多包含K个合取式的析合范式来表达表1.1西瓜分类问题的假设空间,试估算共有多少种可能的假设。
解答:本题考查一些离散数学的知识,同时为后文提示了使假设空间具有更强表示能力的一种编程表达。我们再来看一下表1.1:
编号 | 1 | 2 | 3 | 4 |
色泽 | 青绿 | 乌黑 | 青绿 | 乌黑 |
根蒂 | 蜷缩 | 蜷缩 | 硬挺 | 稍蜷 |
敲声 | 浊响 | 浊响 | 清脆 | 沉闷 |
好瓜 | 是 | 是 | 否 | 否 |
根据此表,总共有三种属性,每种属性分别有2,3,3种取值。根据假设空间计算式,应该有3X4X4+1=49种可能假设。由于问了几个人都不确定空集是否加入析合范式,所以下文讨论除去空集,48种假设。
其中,题设要求的析合范式,无非就是若干个上述假设的组合。可以理解为上述48种假设挑一种,挑2种,挑3种……挑48种,以此类推。不考虑冗余情况,很容易推算出以下的公式:
该公式计算出的值减1即可(不减1则是把空集包含在析合范式内的情况),同时,这个式子的值也等于2的K次方。
但是,要考虑冗余情况。根据离散数学的知识,如果(A=a)∨(A=*),则该项可以化简成(A=*).那么上式包括的结果内,会包含大量冗余。经过计算,这个问题在总假设可能在48种的情况下,远没有2的48次方这么大的量。具体的计算将会在另外一片文章内说明:
1.3 若数据包含噪声,则假设空间中有可能不存在与所有训练样本都一致的假设。在此情形下,试设计一种归纳偏好用于假设选择。
解答:题目换一种意思就是,可能无法找到一种标准,既能区分所有正例,也能排除所有反例。相当于还是一个过拟合和欠拟合的一个问题引入。这个问题是一定没有标准答案的。思路两种,一种,设定一个阈值,对大部分属性与训练样本正例一致的反例,也划入正例范畴。另外一种就是,只取最核心、最无异议的正例进行区分。这里不详述。
1.4 本章1.4节在讨论NFL(没有免费的午餐的英文缩写)定理时,默认使用了分类错误率作为性能度量来对分类器进行评估,若换用其他性能度量l,则式1.1将改为:
试依然证明“天下没有免费的午餐”。
解答:不会不会。。。放弃。。。好好去看概率论去。。。
1.5 试简述机器学习能在互联网搜索的哪些环节起到什么作用?
解答:开放题,不多bb