摘要：
单层神经网络。加权的过程在这里进行的两次，取正负号的函数也进行了两次。 可以对每一个g到G的过程进行逻辑运算（and，or，not），数学表达如下： 虽然上面的算法很强大，但是还是有些东西算不出来，例如XOR： 但是如果再多加一层的话，就可以达到了： 这就是多层的神经网络。 每一个圆圈g都是一个no 阅读全文
摘要：
AdaBoost D Tree有了新的权重的概念。 现在的优化目标，如何进行优化呢？ 不更改算法的部门，而想办法在输入的数据方面做修改。 权重的意义就是被重复取到的数据的次数。这样的话，根据权重的比例进行重复的抽样。最后的结果也和之前一样能够表达权重的意义在里面了。 在一个fully grown t 阅读全文
摘要：
随机森林是将bagging和decision tree结合在一起的算法。 random forest同样也继承了两个算法的优点，但是同时也解决了过拟合的缺点。 通过降维的方式来提高运算的速度。 每一个低维度的空间都可以看成是原feature的一个线性组合，由高维度向低维度的转换的过程是随机的，这样又 阅读全文
摘要：
国庆过完，继续干活~ 下面总结了几个ensemble的模型的本质，顺便调出决策树的概念： 在不同的情形下，用不同的g的一种方式。 蓝色的部分是leaf，也就是base hypothesis。 内部决策的过程叫做node。通常是很简单的决定。 或者： 递回的概念，一棵树可以用其他的几棵树来代表。 决策 阅读全文