12 2021 档案
摘要：1、交叉熵的来源 一条信息的信息量大小和它反映的事件的不确定性有很大的关系，不确定性越大，则信息量越大。一句话如果需要很多外部信息才能确定，我们就称这句话的信息量比较大。比如你听到“云南西双版纳下雪了”，那你需要去看天气预报、问当地人等等查证（因为云南西双版纳从没下过雪）。相反，如果和你说“人一天要
阅读全文
摘要：Logistic 回归的本质是：假设数据服从Logistic分布，然后使用极大似然估计做参数的估计。 1、Logistic 分布 Logistic 分布是一种连续型的概率分布，其分布函数和密度函数分别为： 其中， 表示位置参数， 为形状参数。我们可以看下其图像特征： Logistic 分布的形状与正
阅读全文
摘要：在卷积神经网络中，感受野的定义是 卷积神经网络每一层输出的特征图（feature map）上的像素点在原始图像上映射的区域大小。 原始输入为5*5大小，使用一个5*5大小的核，处理它，得到的结果为1*1大小， 卷积核参数为25。 原始输入是5*5大小，使用两次3*3大小的核，处理它，得到的结果为1*
阅读全文
摘要：背景：深度神经网络涉及到很多层的叠加，而每一层的参数更新会导致上层的输入数据分布发生变化，通过层层叠加，高层的输入分布变化会非常剧烈，这就使得高层需要不断去重新适应底层的参数更新。Google 将这一现象总结为 Internal Covariate Shift，简称 ICS. 所以ICS是什么呢？将
阅读全文
