摘要: (一)Noise会不会对VC bound产生影响? 此笔记源于台湾大学林轩田老师《机器学习基石》《机器学习技法》 答案是不会。 当信号中加入了Noise,其实对我们之前学过的内容不产生任何本质上的影响。 之前《机器学习真的起作用吗?》中的分析是基于:training dataset D的来源是:(x 阅读全文
posted @ 2016-04-27 15:19 wangyanphp 阅读(191) 评论(0) 推荐(0) 编辑
摘要: 前两篇文章已经完成了大部分的工作,这篇文章主要是讲VC bound和 VC dimension这两个概念。 (一)前文的一点补充 根据前面的讨论,我们似乎只需要用来替代来源的M就可以了,但是实际公式却不是这样的,我们需要数学上处理几个小细节。具体的处理方法不讲,只提供大体思路。 可以看出,真实情况下 阅读全文
posted @ 2016-04-27 14:41 wangyanphp 阅读(225) 评论(0) 推荐(0) 编辑
摘要: 一个问题:大多数情况下,M(hypothesis set的大小)是无穷大的,例如PLA算法。那么是不是我们的原则1就不能使用了? 我们试着做一些努力: Step1:寻找hypothesis set的effective number来代替M 什么意思呢?就是之前推导中,但是呢,例如在PLA算法中,h1 阅读全文
posted @ 2016-04-27 11:21 wangyanphp 阅读(540) 评论(0) 推荐(0) 编辑
摘要: [此笔记源于台湾大学林轩田老师《机器学习基石》《机器学习技法》] 机器学习真的可以起作用吗?答案是肯定的。 那为什么这个问题还要拿出来讲一讲呢? 考虑一个问题: 现在知道了5个数据,预测其余3个xn的输出,有如下可能: 我们根本没法预测! 这个问题formally的表示是:对于一个整体,我们随机抽取 阅读全文
posted @ 2016-04-27 11:07 wangyanphp 阅读(413) 评论(0) 推荐(0) 编辑