2018年1月30日

【dlbook】深度网络

摘要： 前向网络：无反馈 feedback 连接 【输出单元】 线性 -- 高斯分布 、 sigmoid单元 -- bernoulli输出、 softmax单元 -- multinoulli 【隐藏单元】 整流线型单元： relu，不可微，但是在梯度下降中的表现依然很好。原因是只要接近局部最小值即可，不需要 阅读全文

posted @ 2018-01-30 22:51 yesuuu 阅读(201) 评论(0) 推荐(0) 编辑

【dlbook】机器学习基础

摘要： 【机器学习基础】 模型的 vc dimension 如何衡量？ 如何根据网络结构衡量模型容量？有效容量和模型容量之间的关系？ 统计学习理论中边界不用于深度学习之中，原因？ 1、边界通常比较松， 2、深度网络的容量估计非常困难，主要原因是受优化算法的能力限制！ 深度学习中正则化：偏向于范数较小的权重！ 阅读全文

posted @ 2018-01-30 21:52 yesuuu 阅读(147) 评论(0) 推荐(0) 编辑

导航