2019 年 10月 28 日随笔档案 - 爽歪歪666

2019年10月28日

摘要： sigmoid函数：越大的负数越接近0，越大的正数越接近1缺点：（1）造成梯度消失：该函数在靠近1和0的两端，梯度几乎变成0，梯度下降法：梯度乘上学习率来更新参数，如果梯度接近0，那么没有任何信息来更新参数，会造成模型不收敛另外，使用sigmoid函数，在初始化权重时，权重太大，经过激活函数会导致大阅读全文

posted @ 2019-10-28 20:23 爽歪歪666 阅读(284) 评论(0) 推荐(0) 编辑

torch_07_卷积神经网络案例分析

摘要： 1. LeNet（1998） 2.AlexNet（2012）:层数更深，同时第一次引入了激活层ReLU，在全连接层引入了Dropout层防止过拟合 3.VGGNet（2014）：有16~19层网络，使用了3*3的卷积滤波器和2*2的池化层。只是对网络层进行不断的堆叠，并没有太大的创新，增加深度缺失可阅读全文

posted @ 2019-10-28 20:22 爽歪歪666 阅读(364) 评论(0) 推荐(0) 编辑