卷积-神经网络-出现原因-解决全连接网络权重参数过多

 

全连接网络权重参数个数太多

神经网络应用到 图像  分类/识别  中，第一个问题： 如果给 每个像素 都分配一个权重参数 w ，那么网络深度只有少少的几层时，权重参数w都天多了。

 

举例：

图片的分辨率为1920*1080，单通道， 图片有几千个类别，

那么输入维度就是1980*1200=2376000，通常隐层节点数量要大于输入维度，而隐层层数也随着分类问题的复杂而提高，

就算一个图像分类神经网络的隐层节点数量和输入维度一致，

只有 1 个隐层时，传递参数 W 维度就成  200w*200w = 2万亿个了

这么多数量的 权重参数， 根本没有足够的样机进行拟合。始终处于欠拟合状态吧

 

卷积网络权重参数个数较少

而使用 卷积核 对图片进行处理时，一个 5*5 的卷积核只有 25个权重参数，就可以处理一张图片，得到一个隐层了。