摘要：
国庆过完，继续干活~ 下面总结了几个ensemble的模型的本质，顺便调出决策树的概念： 在不同的情形下，用不同的g的一种方式。 蓝色的部分是leaf，也就是base hypothesis。 内部决策的过程叫做node。通常是很简单的决定。 或者： 递回的概念，一棵树可以用其他的几棵树来代表。 决策 阅读全文
摘要：
本节课主要讲解AdaBoost算法。 步骤： 1. 先产生一个表现一般或者不好的分类器，将这个分类器发生的错误进行权重的放大； 2. 对上一轮被方法的错误再一次产生另一个分类器进行学习，再一次产生错误并放大进入下一轮； 3. 重复以上步骤，直到表现令人满意。 先利用bootstrap进行有放回抽样产 阅读全文
摘要：
Ensemble模型的基础概念。 先总结归纳几个aggregation的常见形式： 多选一的形式特别需要那几个里面有一个表现好的，如果表现都不太好的时候，几个模型融合到一起真的会表现好吗？ 左图：如果只能用垂直的线和水平的线做分类，结果肯定不是太好，但是如果能把垂直的线和水平的线结合起来，就有可能做 阅读全文
摘要：
http://www.cnblogs.com/xbf9xbf/p/4643291.html 阅读全文
摘要：
回顾一下soft margin SVM的知识： 然而从另一个角度来看，分为真的有犯错和没有犯错： 在没有犯错的时候，ξn=0就好了。于是ξn就可以写成一个求max的过程。根据这个思路，我们有了SVM的新形式： 这样一来，ξn就不再是一个独立的变量，它变成了一个由b和w决定的变量，这样的话，式子又被简 阅读全文
摘要：
即便是有了margin的控制，SVM还是会有overfit。 如果我们坚持严格地将数据分开，那我们就免不了连noise一起算进去，这样就产生了过拟合。 和之前pocket的算法类似，我们可以不那么坚持严格地分界线。我们可以容忍一些错误，退而求其次，找一条犯错误最小的分类线。 所以： 最佳化的式子前半 阅读全文
摘要：
根据上一次推导出来的问题： 从计算的角度来说，如果维度太大，向量z的内积求解起来非常的耗时耗力。 我们可以把这个过程分拆成两个步骤，先是一个x空间到z空间的转换Φ，再在z空间里做内积。如果能把这两个步骤合起来算得快一点的话就可以避开这个大计算量。 x和x'转换了再做内积： 这样的方法可以算得比较快， 阅读全文
摘要：
本节课主要讲述对偶的SVM。 上一节课讲了如何用二次规划的技法解决低维度的SVM的问题，那么当我们把维度升高甚至是无限大的维度的时候，原本的二次规划问题解起来代价太大，这样的SVM又该怎么解呢？ 右图的SVM是左图的SVM的对偶形式。 在之前介绍正则化的时候，我们引入了拉格朗日乘子去解决一个有条件的 阅读全文
摘要：
线性支持向量机。 在这种分类问题中，我们需要选一条最“胖”的线，而这条最胖的线就是margin largest的线。 我们的优化目标就是最大化这个margin。也就是在最小化每一个点到这条线的距离。这个距离怎么计算呢？ 为了以后不会混淆，w0就不整合成向量w了，另外取一个新名字b。同样地，x0=1也 阅读全文
摘要：
1. Occam's Razor Entities must not be multiplied beyond necessity. 如无必要，勿增实体。 我们要寻找简单的hypothesis和简单的模型： 简单的效果： 2. Sampling Bias 如果我们原始数据是由bias的，那么我们通过 阅读全文