原文 如何通俗的解释交叉熵与相对熵? 相关公式： 假设现在有一个样本集中两个概率分布 p,q，其中 p 为真实分布，q 为非真实分布。假如，按照真实分布 p 来衡量识别一个样本所需要的编码长度的期望为： H(p)= 信息熵 但是，如果采用错误的分布 q 来表示来自真实分布 p 的平均编码长度，则应该 Read More
参考 常用激活函数比较 本文结构： 什么是激活函数 为什么要用 都有什么 sigmoid ，ReLU， softmax 的比较 如何选择 1. 什么是激活函数 如下图，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数 Activation Function Read More