摘要： 一、深度学习常见的一些挑战 1、如何决定深层神经网络的架构（网络层数和神经元数目） 2、如何解决模型复杂度过高问题 3、如何实现深层神经网络的最优化问题 4、如何结果巨大计算量的问题 二、逐层预训练（pre-training） 启发式思路：一个深层网络如果需要成功学习好，那么initial时的wei 阅读全文

摘要： 1、basic choice （1）通过一定的方式来缩小权重 （2）通过一定的方式将部分权重置为0 （3）weight-elimination regulizer 2、Early Stoppping Early stopping方法可以控制VC dimension的大小，具体可结合validatio 阅读全文