摘要： 前一篇，我们将SVM与logistic regression联系起来，这一次我们将SVM与ridge regression（之前的linear regression）联系起来。 （一）kernel ridge regression 之前我们之前在做的是linear regression，现在我们希望 阅读全文

摘要： 本篇讲的是SVM与logistic regression的关系。 （一） SVM算法概论 首先我们从头梳理一下SVM（一般情况下，SVM指的是soft-margin SVM）这个算法。 这个算法要实现的最优化目标是什么？我们知道这个目标必然与error measurement有关。 那么，在SVM中 阅读全文

摘要： 考虑这种情况： 倘若我们使用Hard-Margin SVM，不容许一点点的错误，就会得到右边的结果。很显然，左边的结果更合理，所以在实际情况中，我们使用能够接纳一定错误（容忍噪声）的SVM，即：soft-margin SVM。 合并两个条件，得： 这样做有几个问题： 一是我们的目标函数不再是线性的， 阅读全文