摘要: 参考知乎的讨论:https://www.zhihu.com/question/29021768 1、计算简单,反向传播时涉及除法,sigmod求导要比Relu复杂; 2、对于深层网络,sigmod反向传播时,容易出现梯度消失的情况(在sigmod接近饱和区),造成信息丢失; 3、Relu会使一些输出 阅读全文
posted @ 2016-09-22 16:27 牧马人夏峥 阅读(1894) 评论(0) 推荐(0) 编辑
摘要: 笔试时遇到这个问题,这篇博文写的蛮好:https://www.52ml.net/16294.html 总结起来四种方法: (1)过采样:过抽样方法通过增加少数类样本来提高少数类的分类性能 , 最简单的办法是简单复制少数类样本,缺点是可能导致过拟合,没有给少数类增加任何新的信息。 改进的过抽样方法通过 阅读全文
posted @ 2016-09-22 16:00 牧马人夏峥 阅读(326) 评论(0) 推荐(0) 编辑