卷积神经网络

卷积的基本结构：

卷积层，Pooling池化层和激活函数层等操作是将原始数据映射到隐层特征空间；

全连接层则起到将学到的特征表示映射到样本标记空间的作用，做出预测；

目标函数的作用则是用来衡量该预测值与真实样本标记之间的误差。再当下的卷积神经网络中交叉熵损失函数和L2损失函数分别是分类问题和回归问题中最常用的目标函数。

CNN网络结构中的重要概念

　　1）感受野：由于现代卷积神经网络拥有多层甚至超过多层卷积操作，随着网络深度的加深，厚层神经元在第一层输入层的感受野会随之增大。

　　2）分布式表示

　　3）深度特征的层次性

深度网络中的目标函数（Objective Function），通过样本的预测结果与真实标记所产生的误差反向传播指导网络参数的学习和表示学习。另外，为防止模型过拟合或者达到其他训练目标（如希望得到稀疏解），正则项通常作为对参数的约束也会加入到目标函数中一起指导模型训练。 

 

深度可分离卷积：减小参数个数，有利于减小过拟合

膨胀卷积（空洞卷积）