Challenges and Key Techniques for Deep Learning
一、深度学习常见的一些挑战
1、如何决定深层神经网络的架构(网络层数和神经元数目)
2、如何解决模型复杂度过高问题
3、如何实现深层神经网络的最优化问题
4、如何结果巨大计算量的问题
二、逐层预训练(pre-training)
启发式思路:一个深层网络如果需要成功学习好,那么initial时的weight应当在一个比较好的位置(在使用backpro时有助于寻找到最优点);可以通过逐层训练的方式确定一个较好的initial的weight。
1、先训练输入层和第一个隐藏之间的weight1,然后固定该层的weight1不变;接着训练第一个隐层和第二个隐藏之间的权重weight2,然后固定该层的weight2;按此方式依次计算当前隐层和后一层的权重,直至最后一层。(下图中黑色部分为预训练好的该层的weight,蓝色部分为此次需要训练的该层的weight。)
2、做完pre-training后,再将整个网络进行训练,得到最终每个隐层的weight。
3、pre-training和regularization技术在deep learning中应当被focus