2021年10月20日
信息量、熵、互信息
摘要： 信息量 信息量是通过概率来定义的：如果一件事情的概率很低，那么它的信息量就很大；反之，如果一件事情的概率很高，它的信息量就很低。简而言之，概率小的事件信息量大，因此信息量 \(I(x)\) 可以定义如下： \[ I(x) := log(\frac{1}{p(x)}) \] 信息熵/熵 表示随机变量不 阅读全文
posted @ 2021-10-20 12:04 owo_owo 阅读(574) 评论(1) 推荐(0) 编辑