第四讲 学习的可行性

一. Hoeffding不等式

对固定的假设h，数据量N足够大，E_in(h)在误差ε内大概接近于E_out(h)：

　　　　P[|E_in(h) - E_out(h)| > ε] ≤ 2exp(-2ε²N)

所以，E_in(h) = E_out(h) is probably approximately correct(PAC).

二. 有限个假设

对有限M个假设，数据量N足够大，E_in(g)在误差ε内大概接近于E_out(g)：　　　  

　　     P[|E_in(g) - E_out(g)| > ε] ≤ 2·M·exp(-2ε²N)

如果N足够大，无论学习算法如何选择，E_in(g) = E_out(g) is PAC.