会员
周边
众包
新闻
博问
闪存
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
郭耀华's Blog
欲穷千里目,更上一层楼
项目主页:
https://github.com/guoyaohua/
博客园
首页
新随笔
联系
订阅
管理
2017年12月17日
为何神经网络权重初始化要随机初始化,不能以0为初始化
摘要: 根据deeplearn.ai吴恩达深度学习课程3.11总结 因为如果W初始化为0 则对于任何Xi,每个隐藏层对应的每个神经元的输出都是相同的,这样即使梯度下降训练,无论训练多少次,这些神经元都是对称的,无论隐藏层内有多少个结点,都相当于在训练同一个函数。
阅读全文
posted @ 2017-12-17 20:45 郭耀华
阅读(4779)
评论(0)
推荐(0)
编辑
公告