09 2018 档案
摘要：LaTeX 公式编辑可能需要的知识。
阅读全文
摘要：熵（entropy）、KL散度（Kullback-Leibler (KL) divergence）和交叉熵（cross-entropy）在机器学习的很多地方会用到。比如在决策树模型使用信息增益来选择一个最佳的划分，使得熵下降最大；深度学习模型最后一层使用 softmax 激活函数后，我们也常使用交叉熵来计算两个分布的“距离”。KL散度和交叉熵很像，都可以衡量两个分布之间的差异，相互之间可以转化。本文将对熵、KL散度和交叉熵进行简单的介绍。
阅读全文
摘要：在训练集上，神经网络越深，效果会越好吗？理论上是的，但传统神经网络做不到这一点。在神经网络的深度达到一定时，在训练集上，越深的网络效果可能越差，这就是退化问题。而ResNet可以处理这个问题。
阅读全文
摘要：现在提到“神经网络”和“深度神经网络”，会觉得两者没有什么区别，神经网络还能不是“深度”（deep）的吗？我们常用的 Logistic regression 就可以认为是一个不含隐含层的输出层激活函数用 sigmoid（logistic） 的神经网络，显然 Logistic regression 就不是 deep 的。不过，现在神经网络基本都是 deep 的，即包含多个隐含层。Why？
阅读全文
