随笔分类 - 概率论与统计
摘要：1.熵与最大熵原理 熵是随机变量不确定性的度量，不确定性越大，熵值就越大；若随机变量退化成定值，熵为0。均匀分布是“最不确定”的分布 假设离散随机变量X的概率分布为P(x)，则其熵为： 联合熵和条件熵 两个随机变量的X，Y的联合分布，可以形成联合熵，用H(X,Y)表示 条件熵H(X|Y) = H(X
阅读全文
摘要：（1）条件概率公式 设A,B是两个事件，且P(B)>0,则在事件B发生的条件下，事件A发生的条件概率（conditional probability)为： P(A|B)=P(AB)/P(B) （2）乘法公式 1.由条件概率公式得： P(AB)=P(A|B)P(B)=P(B|A)P(A) 上式即为乘法
阅读全文
摘要：一、条件概率公式 举个例子，比如让你背对着一个人，让你猜猜背后这个人是女孩的概率是多少？ 直接猜测，肯定是只有５０％的概率，假如现在告诉你背后这个人是个长头发，那么女的概率就变为９０％。 所以条件概率的意义就是，当给定条件发生变化后，会导致事件发生的可能性发生变化。 条件概率由文氏图出发，比较容易理
阅读全文
摘要：一、无偏估计 所谓总体参数估计量的无偏性指的是，基于不同的样本，使用该估计量可算出多个估计值，但它们的平均值等于被估参数的真值。 在某些场合下，无偏性的要求是有实际意义的。例如，假设在某厂商与某销售商之间存在长期的供货关系，则在对产品出厂质量检验方法的选择上，采用随机抽样的方法来估计次品率就很公平。
阅读全文
摘要：一、方差（variance)：衡量随机变量或一组数据时离散程度的度量。 概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。 统计中的方差（样本方差）是每个样本值与全体样本值的平均数之差的平方值的平均数。 概率论中的方差表示方法 ： 样本方差，无偏估计、无偏方差（unbiased va
阅读全文
摘要：条件熵： H(Y|X)表示在已知随机变量X的条件下，随机变量Y的不确定性，H(Y|X)定义为： 举个例子： 有一堆西瓜，已知这堆西瓜的色泽，以及每种色泽对应好瓜和坏瓜的个数，如下所示，设X表示色泽，Y表示好瓜或者坏瓜。 则： 这个例子就是计算条件熵的一个过程，现在证明条件熵公式： 有很多书上的条件熵
阅读全文
摘要：原文地址：https://www.cnblogs.com/kyrieng/p/8694705.html 1、信息熵 (information entropy) 熵 (entropy) 这一词最初来源于热力学。1948年，克劳德·爱尔伍德·香农将热力学中的熵引入信息论，所以也被称为香农熵 (Shann
阅读全文
摘要：一、概念 互信息，Mutual Information，缩写为MI，表示两个变量X与Y是否有关系，以及关系的强弱，或者说是X与Y的相关性。 如果 (X, Y) ~ p(x, y), X, Y 之间的互信息 I(X; Y)定义为: Note: 互信息 I (X; Y)可为正、负或0。 互信息实际上是更
阅读全文
摘要：1 信息熵以及引出条件熵 我们首先知道信息熵是考虑该随机变量的所有可能取值，即所有可能发生事件所带来的信息量的期望。公式如下： 我们的条件熵的定义是：定义为X给定条件下，Y的条件概率分布的熵对X的数学期望 这个还是比较抽象，下面我们解释一下： 设有随机变量（X,Y），其联合概率分布为 条件熵H（Y|
阅读全文
摘要：一、通俗解释 熵是衡量“信息量“大小的一个数值。什么叫”信息量“？举个例子。 假设你现在玩一个猜硬币正反面的游戏，有个人扔一次硬币，你猜正反面，猜对了可以拿100块钱，猜错了就没有钱。 现在有一个能预知未来的人，他知道本次抛硬币的结果，并且他愿意告诉你，只要你给他一定数量的钱。 那么在如下四种情况下
阅读全文
摘要：1.条件概率 设A,B是两个事件，且P(B)>0,则在事件B发生的条件下，事件A发生的条件概率（conditional probability)为： P(A|B)=P(AB)/P(B) 分析：一般说到条件概率这一概念的时候，事件A和事件B都是同一实验下的不同的结果集合，事件A和事件B一般是有交集的，
阅读全文
