摘要： 1、信息量： 公式：I(x) = -logp(x)，单从公式上也可以看出，概率越低熵越大（低概率事件带来的高信息量）。通俗一点来说的话，就是概率论中很简单的推广就行了。 2、熵的定义： （1）上面的 I(x) 是指在某个概率分布之下，某个概率值对应的信息量的公式。那么我们要知道这整个概率分布对应的信 阅读全文

摘要： 先验概率：是指根据以往经验和分析得到的概率。如全概率公式，他往往作为“由因求果”问题中的“因”出现。 后验概率：是指得到“结果”的信息后重新修正的概率。 我的理解就是，先验的过程就相当于做实验，获取训练数据，都是有特征有标签的。我可以通过样本计算出任意标签出现的概率（这里的概率就是先验概率）；而后验 阅读全文