2016年7月24日
机器学习中的数学系列-信息论
摘要： 1,信息 \( i(x)=-log(p(x)) \) 事件x不确定性的度量，不确定性越大，信息量越大。 从信息编码角度，这是编码这一信息所需要的最小比特数(log以2为底，以e为底的叫做奈特)。 2,熵 \( H(X) = \sum_x{-p(x)log(p(x))} \) 随机变量X不确定的度量， 阅读全文
posted @ 2016-07-24 18:03 HOLD 阅读(1110) 评论(0) 推荐(0) 编辑