摘要：
数据量小，选用 high bias/low variance模型（Naive Bayes），因为low bias/high variance模型（KNN，logistic regression）会overfitNaive Bayes：简单，只需要计数就可以；数据量小时，也适用；如果各因素独立（比如词... 阅读全文
摘要：
L1，L2正则都可以看成是 条件限制，即 $\Vert w\Vert \leq c$ $\Vert w\Vert^2 \leq c$当w为2维向量时，可以看到，它们限定的取值范围如下图：所以它们对模型的限定不同而对于一般问题来说，L1 正则往往取到正方形的顶点，即会有很多分量为0，具有稀疏性，有... 阅读全文
摘要：
problem 1: $\min_{\beta} ~f_\alpha(\beta):=\frac{1}{2}\Vert y-X\beta\Vert^2 +\alpha\Vert \beta\Vert$problem 2: $\min_{\beta} ~\frac{1}{2}\Vert y-X\b... 阅读全文