1 为什么需要regularization？

我们建一个模型，期望：

在训练集上，training error 要小,过小会产生overfitting ,模型会复杂，预测能力差

在测试集上，test error 要小，即test error -training error 也要小（要求模型不那么复杂）

两者需要一个balance，有种方法就是regulariztion

文档中第10页有个图，其中variance可以理解做（test error -training error）

bias是模型和真实函数的偏差,看图的话跟training error 大致相同

2、regularization方法。限制参数的空间，调整tuning parameter的大小。

可以理解为以前的解是没有限制条件下的解，而现在的解是要在满足一定条件下的解。

instructor提到过：一般情况下是：越Smooth， space 、complexity越小。smooth是指loss function吗？

3、Lagrange乘子

如下对equivalent formulation 的理解是错误的？confuse with KKT条件，这里h(λ)=f(w)不一定满足！！

4、提到过两个 机器学习机构： uci cmu数据

5、lasso、ridge是凸的，函数在凸集上的一些好处是什么？学习一下凸集。