【机器学习基石笔记】八、噪声和错误

噪声的来源：

1、noise in y

2、noise in x

在有noise的情况下，vc bound还会work么？？？

之前，x ~ p(x)  现在 y ~ P( y | x )

在hoeffding的部分，只要 (x, y) 联合分布满足某个分布， 结果是一致的。

 

error measure:
打分衡量f和g的距离

1、out-of-sample

2、pointwise：evaluate on one x

Ein = mean(yHat - y)

Eout = 在概率空间上的积分

 

false accept & false reject 

影响error measure函数。哪怕是同样的模型，如果不是同样的场合，都会有问题。

有的时候错误衡量很困难。比如指纹错了究竟有多大问题？

friendly的假设：

1、closed-form solution

2、凸函数

 

weighted classification

假设在支持向量机上面犯了错误。不比有几个错误，比的是错误函数，可以么？不可以，因为不一定会收敛！

正确做法是错误的点 *1000倍，认为错了1000次。