摘要：
"1. 决策树（Decision Tree） 决策树原理" "2. 决策树（Decision Tree） ID3、C4.5、CART比较" 1. 前言 决策树是一种 基本的分类和回归方法 。决策树呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if then规则的集合，也可以 阅读全文
摘要：
1. 前言 贝叶斯学派很古老，但是从诞生到一百年前一直不是主流。主流是频率学派。频率学派的权威皮尔逊和费歇尔都对贝叶斯学派不屑一顾，但是贝叶斯学派硬是凭借在现代特定领域的出色应用表现为自己赢得了半壁江山。 贝叶斯学派的思想可以概括为 先验概率+数据=后验概率 。也就是说我们在实际问题中需要得到的后验 阅读全文
摘要：
1. 前言 说到朴素贝叶斯算法，首先牵扯到的一个概念是 判别式和生成式 。 判别式：就是直接学习出特征输出$Y$和特征$X$之间的关系，如决策函数$Y=f(X)$,或者从概率论的角度，求出条件分布$P(Y|X)$。代表算法有 决策树、KNN、逻辑回归、支持向量机、随机条件场CRF等 生成式：就是直接 阅读全文
摘要：
1. 信息熵 熵度量了事物的不确定性，越不确定的事物，它的熵就越大。在没有外部环境的作用下，事物总是向着熵增大的方向发展，所以熵越大，可能性也越大。 $$ H(X)= \sum_{i=1}^np_{(i)}logp_{(i)} $$ 2. 条件熵 X确定时，Y的不确定性度量。 在X发生是前提下，Y发 阅读全文