摘要:
一、深度学习常见的一些挑战 1、如何决定深层神经网络的架构(网络层数和神经元数目) 2、如何解决模型复杂度过高问题 3、如何实现深层神经网络的最优化问题 4、如何结果巨大计算量的问题 二、逐层预训练(pre-training) 启发式思路:一个深层网络如果需要成功学习好,那么initial时的wei 阅读全文
摘要:
1、basic choice (1)通过一定的方式来缩小权重 (2)通过一定的方式将部分权重置为0 (3)weight-elimination regulizer 2、Early Stoppping Early stopping方法可以控制VC dimension的大小,具体可结合validatio 阅读全文