摘要：
模型选择 假设目前有d个学习模型构成的集合$\mathcal M=\{M_1,\cdots,M_d\}$，训练集S，下面介绍几种选取模型的方法 Hold out cross validation(Simple cross validation) 1.按一定比例随机将原始训练集S分为训练集$S_{tr 阅读全文
摘要：
偏置与方差的权衡 高偏置(high bias)与高方差(high variance)的概念在Coursera上Ng的机器学习课程中已经提过，这里不再赘述 预备知识 一致限(the union bound)/Boole不等式(Boole's inequality) $$P(A_1\cup \cdots 阅读全文
摘要：
在逻辑回归中，对于输入特征$x$，$|\theta^Tx|$越是大于0，则分类结果为0(1)的置信度将越大。所以要让决策边界离正负样本的距离尽可能远，这就是SVM的motivation 符号约定 为方便描述，样本标签$y\in\{ 1,1\}$，而非之前的{0,1}，并单独表示偏置$b$，使得参数$ 阅读全文