酸菜鱼也要有姓名

摘要： 交叉熵在机器学习中的使用 1、信息量 概率越小，信息量越大，事件$X=x_0$的信息量为： $$I(x_0)= log(p(x_0))$$ 2、熵 熵表示所有信息量的期望： $$H(x)= \sum_{i=1}^n p(x_i)log(p(x_i))$$ 其中n代表事件X有n种可能 3、相对熵（KL 阅读全文