摘要：
Ensemble模型的基础概念。 先总结归纳几个aggregation的常见形式： 多选一的形式特别需要那几个里面有一个表现好的，如果表现都不太好的时候，几个模型融合到一起真的会表现好吗？ 左图：如果只能用垂直的线和水平的线做分类，结果肯定不是太好，但是如果能把垂直的线和水平的线结合起来，就有可能做 阅读全文
摘要：
http://www.cnblogs.com/xbf9xbf/p/4643291.html 阅读全文
摘要：
回顾一下soft margin SVM的知识： 然而从另一个角度来看，分为真的有犯错和没有犯错： 在没有犯错的时候，ξn=0就好了。于是ξn就可以写成一个求max的过程。根据这个思路，我们有了SVM的新形式： 这样一来，ξn就不再是一个独立的变量，它变成了一个由b和w决定的变量，这样的话，式子又被简 阅读全文
摘要：
即便是有了margin的控制，SVM还是会有overfit。 如果我们坚持严格地将数据分开，那我们就免不了连noise一起算进去，这样就产生了过拟合。 和之前pocket的算法类似，我们可以不那么坚持严格地分界线。我们可以容忍一些错误，退而求其次，找一条犯错误最小的分类线。 所以： 最佳化的式子前半 阅读全文
摘要：
根据上一次推导出来的问题： 从计算的角度来说，如果维度太大，向量z的内积求解起来非常的耗时耗力。 我们可以把这个过程分拆成两个步骤，先是一个x空间到z空间的转换Φ，再在z空间里做内积。如果能把这两个步骤合起来算得快一点的话就可以避开这个大计算量。 x和x'转换了再做内积： 这样的方法可以算得比较快， 阅读全文
摘要：
本节课主要讲述对偶的SVM。 上一节课讲了如何用二次规划的技法解决低维度的SVM的问题，那么当我们把维度升高甚至是无限大的维度的时候，原本的二次规划问题解起来代价太大，这样的SVM又该怎么解呢？ 右图的SVM是左图的SVM的对偶形式。 在之前介绍正则化的时候，我们引入了拉格朗日乘子去解决一个有条件的 阅读全文