深度学习——（一）基本概念

1.导论

（1）深度学习按照成熟度分类

①成熟的深度学习算法：

　　深度前馈网络（deep feedforward network），也叫 前馈神经网络（feedforward neural network）或 多层感知机（multilayer perceptron, MLP），是典型的深度学习模型。

　　卷积网络（convolutional network）(LeCun, 1989)，也叫 卷积神经网络（convolutional neural network, CNN），是一种专门处理具有类似网格结构的数据的神经网络。例如时间序列数据和图像数据。

　　循环神经网络（recurrent neural network）或 RNN (Rumelhart et al., 1986c)是一类用于处理序列数据的神经网络。

 

②展望性的算法：

 

（2）CNN例子：

LeNET，AlexNet

优化：VGGNet（Oxford），GoogleNet，Residual Net（何凯明），Residual Network

模型压缩 参数量&计算量：Xception，MobileNet，ShuffleNet，SqueezeNet

目标检测：R-CNN，Fast / Faster R-CNN，FPN，R-FCN，Mask R-CNN，YOLO，SSD，RetinaNet

生成样本/不平衡： GAN。

（3）RNN例子：

BRNN（Bidirectional RNNs），LSTM

 

？（4）深度学习算法按照应用领域分类

NLP相关，

CV相关，传统神经网络（反向传播）——限制玻尔兹曼机——AutoEncoder——梯度反向传播——多层感知机——卷积神经网络

其他，

 

 

 

 

2.CNN步骤

Convolution

Pooling

Activation

Initialization

Normalization

Optimizer

Architecture

 

3.术语缩写

（1）卷积神经网络（Convolutional Neural Networks，CNN）