摘要：
协方差 协方差用来描述两个变量的相关性 若两个随机变量正相关则cov(x,y) > 0 负相关则cov(x,y)<0 不相关则cov(x,y) = 0 公式 cov(x,y) = E[(x-ux) *(y-uy)] rxy = cov(x,y) / ( sqrt(cov(x,x)) * sqrt(c 阅读全文
摘要：
定义 熵是从整个集合的统计特性所考虑的 表示信源输出前信源的平均不确定性 表示信源输出后每个符号携带的平均信息 I(p)只能表示信源中每个符号的信息量，不能作为信源总体的信息量 公式: H(x) = E(log 1/p(ai)) = -∑p(ai) log p(ai) 自信息 发出的消息所携带的信息 阅读全文
摘要：
概述： 信息使用来消除不确定性的东西 信息不等于消息，消息只是信息的载体 度量： 信息的大小是由信息消除的不确定性的大小决定的 中国男子乒乓球队获得冠军与中国男子足球队获得冠军的信息量完全不同 事件1的不确定性为I(p1), p1为事件1的先验概率 信息A消除的不确定性为I(p2) 则获取信息A后事 阅读全文