摘要：
（一）Noise会不会对VC bound产生影响？ 此笔记源于台湾大学林轩田老师《机器学习基石》《机器学习技法》 答案是不会。 当信号中加入了Noise，其实对我们之前学过的内容不产生任何本质上的影响。 之前《机器学习真的起作用吗？》中的分析是基于：training dataset D的来源是：（x 阅读全文
摘要：
前两篇文章已经完成了大部分的工作，这篇文章主要是讲VC bound和 VC dimension这两个概念。 （一）前文的一点补充 根据前面的讨论，我们似乎只需要用来替代来源的M就可以了，但是实际公式却不是这样的，我们需要数学上处理几个小细节。具体的处理方法不讲，只提供大体思路。 可以看出，真实情况下 阅读全文
摘要：
一个问题：大多数情况下，M（hypothesis set的大小）是无穷大的，例如PLA算法。那么是不是我们的原则1就不能使用了？ 我们试着做一些努力： Step1：寻找hypothesis set的effective number来代替M 什么意思呢？就是之前推导中，但是呢，例如在PLA算法中，h1 阅读全文
摘要：
[此笔记源于台湾大学林轩田老师《机器学习基石》《机器学习技法》] 机器学习真的可以起作用吗？答案是肯定的。 那为什么这个问题还要拿出来讲一讲呢？ 考虑一个问题： 现在知道了5个数据，预测其余3个xn的输出，有如下可能： 我们根本没法预测！ 这个问题formally的表示是：对于一个整体，我们随机抽取 阅读全文