摘要：softMax层反向传播图如图所示，这里我们将图中-ti/yi的反向传播泛化为Li，方便我们的推导。 这里我们规定S=exp(a1)+...+exp(an) , yi=exp(ai)/S "乘"节点 有两个分支，对于向上的分支：Li*exp(ai) 然后将所有分支相加: ∑Li*exp(ai) 对于 阅读全文

摘要：假设我们首先从区间 [−1, 1] 上的均匀分布中采样出一个实数 x。然后我们对一个随机 变量 s 进行采样。s 以 12 的概率值为 1，否则为-1。我们可以通过令 y = sx 来生成 一个随机变量 y。显然，x 和 y 不是相互独立的，因为 x 完全决定了 y 的尺度。然 而，Cov(x, y 阅读全文