摘要：
降噪：存在一个未知的损坏过程，该过程可以根据输入的正确样例生成损坏样例。而降噪就是对抗该未知的损坏过程用的，它根据损坏过程得到的损坏样例反过来预测出正确的样例。 密度估计或者概率分布函数估计：描述为模型相比别的任务隐式地捕捉样本结构，密度估计需要显式地知道样本的结构，还需要知道样本簇在哪里集中，在哪 阅读全文
摘要：
数值计算 上溢和下溢 softmax函数 \[ softmax(x_i) = \frac{exp(x_i)}{\sum_{j=1}^{n}exp(x_j)} \] 差条件（poor conditioning） 条件（conditioning）指的是函数在输入产生很小变化时自身所改变的速度。当函数变化 阅读全文
摘要：
信息论 自信息与熵 自信息：\(I(x) = - \log P(x)\) 熵 KL散度和交叉熵 阅读全文
摘要：
文本记录深度学习常用的概率论知识。 基础概念 随机变量：概率论通过随机试验来研究随机现象中的统计规律性。可是随机试验需要大量重复，为了更好地去表示整个统计规律性，研究时借助了随机变量这一概念，于是有关随机事件的计算就变成随机变量的计算。随机变量分连续型随机变量（continuous variable 阅读全文