摘要:
通过前四讲可知,在假设集大小(M)有限的条件下,机器是可以学习的。第五讲的目的是解决M为无限大时,机器是否能学习的问题。为什么在假设集大小(M)有限的条件下,机器是可以学习的?1. 其依据是Hoeffding不等式:这个不等式说明了,训练集的错误率Ein(g)和测试集的错误率Eout(g)的差距太大... 阅读全文
摘要:
第四讲介绍了机器学习是否可行的问题。1. 从给定的资料D中,找出一个接近目标f的假设g是可行的。比如PLA。但是,找到的这个g能否用于D以外的地方,这就难说了。2. Hoeffding's inequality回答了g是否能用于D以外的问题: (1)In probability theory, H... 阅读全文
摘要:
第三讲介绍了不同类型的机器学习问题,根据4个方面划分:输出空间,标签,方式,输入空间。1. 根据输出空间y不同划分:通过变换y的种类,可得到不同的机器学习问题 (1)y = {+1, -1}:二元分类问题,类似于做是非题,机器学习的基础。 (2)y = {0, 1, 2, ..., k}:k元分... 阅读全文
摘要:
第二讲介绍了Perceptron Learning Algorithm (PLA),是以后学习的基础。PLA是二元的线性分类器,类似于神经感受器,用于做是非题。1. PLA的假设函数:h(x) = sign(w'x)。 这里w'是列向量,x是行向量。x代表一个数据点,这个点可能包含了d个维度,即x... 阅读全文
摘要:
近来觉得机器学习愈发重要。有人推荐了台大林轩田老师讲授的“机器学习基石”,感觉林老师讲得生动清楚,是很好的课程,值得一学。第一讲介绍了机器学习是什么,使用机器学习的条件,机器学习的模型是怎样的。1. 机器学习是一种处理复杂系统的方法,这里老师举了4个例子: (1) when human canno... 阅读全文