2017年6月2日
神经网络与深度学习笔记 Chapter 3.
摘要： 交叉熵 交叉熵是用于解决使用二次代价函数时当单个神经元接近饱和的时候对权重和bias权重学习的影响。这个公式可以看出，当神经元饱和的时候，sigma的偏导接近于0，w的学习也会变小。但是应用交叉熵作为代价函数的话，只有当所有的神经元接近0或者1的时候才会出现这种情况。它解决了初始化w和bias时坏的 阅读全文
posted @ 2017-06-02 16:40 不吃陈皮 阅读(197) 评论(0) 推荐(0) 编辑