摘要：
数值计算 上溢和下溢 softmax函数 \[ softmax(x_i) = \frac{exp(x_i)}{\sum_{j=1}^{n}exp(x_j)} \] 差条件（poor conditioning） 条件（conditioning）指的是函数在输入产生很小变化时自身所改变的速度。当函数变化 阅读全文
摘要：
信息论 自信息与熵 自信息：\(I(x) = - \log P(x)\) 熵 KL散度和交叉熵 阅读全文
摘要：
文本记录深度学习常用的概率论知识。 基础概念 随机变量：概率论通过随机试验来研究随机现象中的统计规律性。可是随机试验需要大量重复，为了更好地去表示整个统计规律性，研究时借助了随机变量这一概念，于是有关随机事件的计算就变成随机变量的计算。随机变量分连续型随机变量（continuous variable 阅读全文