2019年7月31日
熵、交叉熵及似然函数的关系
摘要： 熵、交叉熵及似然函数的关系 1. 熵 1.1 信息量 信息量：最初的定义是信号取值数量m的对数为信息量$I$,即 \(I=log_2m\)。这是与比特数相关的，比如一个信号只有两个取值，那么用1个bit便能将其表示。后来著名的香农指出，得到的信号取值结果是随机的，因此其信息量应该也是关于概率的函数， 阅读全文
posted @ 2019-07-31 16:16 breezezz 阅读(2100) 评论(2) 推荐(0) 编辑