2022年10月5日
机器学习——熵，交叉熵，相对熵
摘要： 熵 ##熵—不确定性角度 通常，一个信源发送什么符号是不确定的，衡量它可以根据其出现的概率来度量。概率大，出现的机会就大，不确定性就小；反之不确定性就大。在信源中，考虑的不是某一单个符号的不确定性，而是考虑这个信源所有可能发生情况的平均不确定性。 若信源符号有n种取值:$u_1, u_2, ..., 阅读全文
posted @ 2022-10-05 10:51 星辰大海,绿色星球 阅读(125) 评论(0) 推荐(0) 编辑