摘要：
1. 前言 贝叶斯学派很古老，但是从诞生到一百年前一直不是主流。主流是频率学派。频率学派的权威皮尔逊和费歇尔都对贝叶斯学派不屑一顾，但是贝叶斯学派硬是凭借在现代特定领域的出色应用表现为自己赢得了半壁江山。 贝叶斯学派的思想可以概括为 先验概率+数据=后验概率 。也就是说我们在实际问题中需要得到的后验 阅读全文
摘要：
1. 前言 说到朴素贝叶斯算法，首先牵扯到的一个概念是 判别式和生成式 。 判别式：就是直接学习出特征输出$Y$和特征$X$之间的关系，如决策函数$Y=f(X)$,或者从概率论的角度，求出条件分布$P(Y|X)$。代表算法有 决策树、KNN、逻辑回归、支持向量机、随机条件场CRF等 生成式：就是直接 阅读全文
摘要：
1. 信息熵 熵度量了事物的不确定性，越不确定的事物，它的熵就越大。在没有外部环境的作用下，事物总是向着熵增大的方向发展，所以熵越大，可能性也越大。 $$ H(X)= \sum_{i=1}^np_{(i)}logp_{(i)} $$ 2. 条件熵 X确定时，Y的不确定性度量。 在X发生是前提下，Y发 阅读全文