计算学习理论、统计学习基础理论

computational learning theory：计算学习理论；

支持向量机是建立在统计学习理论 VC 维理论和结构风险最小化原理基础上的机器学习方法。

• 统计学习的基础就是统计推理（statistical inference），统计推理简单来说，就是估计参数（模型的参数）
  
  • 比如对于 MLE：argmax∏ifi(xi|θ)（θ 即为其参数），MLE 是一种 metric，

0. PAC

PAC（probably approximately correct，概率近似正确） learning model：

P(|f(x)−y|≤ϵ)≥1−δ

这是 Valiant（2010 年获得图灵奖） 于 1984 年提出的理论；

1. VC 维理论

2. 结构风险最小化