2019年11月16日

动手学深度学习16- 深度学习的数值稳定性和模型初始化

摘要： <! TOC "衰减和爆炸" "随机初始化模型参数" "pytorch的默认随机初始化" "Xavier随机初始化" "小结" <! /TOC 深度学习的数值稳定性问题以及模型参数的初始化方法。 深度学习有关数值稳定性的典型问题是衰减(vanishing) 和爆照(explosion) 衰减和爆炸 阅读全文

posted @ 2019-11-16 20:08 多一点 阅读(657) 评论(0) 推荐(0) 编辑

动手学深度学习15-深度学习-正向传播、反向传播和计算图

摘要： <! TOC "正向传播" "反向传播" "训练深度学习模型" "小结" <! /TOC 前几节里面我们使用了小批量随机梯度下降的优化算法来训练模型。在实现中，我们只提供了模型的正向传播的(forward propagation)计算，即对于输入计算模型输出，然后通过autograd模块来调用系统自 阅读全文

posted @ 2019-11-16 11:03 多一点 阅读(1416) 评论(0) 推荐(0) 编辑

导航