为什么深层网络比浅层网络更优秀?答案或许很多,我介绍几点。
减少训练参数
以卷积为例,5x5的卷积核把25个像素变成1个,需要25个权重,
而两个3x3的卷积核,也可以把25个像素变成1个,只需要18个权重
5x5 ==> 3x3 ==> 1
提高学习效率
之前讲到权重就是过滤器,学习就是生成过滤器的过程。
假如我们想做个“狗”的过滤器,那难了去了,因为狗各种各样,品种多,大小不同,站着的,躺着的,蹲着的,太多了,没法做,
那我们可以分开做,什么意思呢,我先找个比较明显能区分狗的特征,比如脚,特征明显,训练会很快,这里其实就对应了小型卷积核,
先拿脚把样本过滤一遍,这样下一轮就是在脚符合特征的情况下进行筛选,这样效率更高。
对应到网络模型上,一下子做出整个狗的过滤器,就是浅层网络,
而分层识别,就是深层网络。