深度学习相关基本概念理解

1、CNN，RNN和DNN https://www.zhihu.com/question/34681168

 摘要：

CNN神经元上下层之间是局部连接，通过卷积核作为中介，所有的卷积核在所有图像内是共享的（权值共享说明对于特征来说，不同位置可以使用同样的卷积核，说明在特征提取的过程中，在不同位置都可能出现该特征，同时权值共享降低了参数的数目），图像通过卷积操作之后任然保留原来的位置关系（以矩阵形式而非向量形式存储时可以保留相对位置信息）

 

在CNN中，每层的神经元只能向一个方向传播，因此也称为前向神经网络，（很多情况下时间信息的时间顺序很重要，如语音）在RNN中神经元的输出可以在下一个时间点直接作用到自身（相当于生物的神经系统的反馈操作）某一刻神经某一层的神经元的输入，包括前一层神经元在该时刻的输出，以及其自身在前一时刻的输出。RNN可以看做在时间上传递的神经网络，它的深度是时间的长度，依然会出现梯度消失现象，，也就是说某一时刻的输出只受前一段时间的影响，无法影响更远之前的时间。为了解决时间上梯度的消息，机器学习领域发展了长短时记忆单元LSTM，通过门开关实现时间上记忆功能（有记忆触发器？），防止梯度消失。

 

也有说法如下：DNN是一个大类，CNN是一个典型的空间上深度的神经网络，RNN是在时间上深度的神经网络。

 

 2、卷积神经网络 https://www.zhihu.com/question/39022858

卷积与滤波器（filter）/kernel/feature detector，滤波器内的权重矩阵W是网络依据数据学习得到的，意思就是说并不是人为设定，不同的数据能得到不一样的权重矩阵，也就是让神经网络自己学习以什么样的方式去观察图片。经过层层卷积后，所有能够探测的形和概念变得越来越抽象和复杂。  

 卷积神经网络是多层神经网络，基本运算单元是卷积运算（滤波器，特征提取层（局部特征提取））、池化运算（下采样运算来降低网络的空间分辨率，对于每一块选择区域，用其中的某一个值来代替所有值，如最大池化就是选择区域中最大值，去掉的是冗余信息，不会损坏识别结果）、全连接运算（经过全连接运算，将多组信号依次组合为一组信号）和识别运算（根据目标需求用于分类或者回归计算）。

模型将特征抓取层和分类层合在了一起。 负责特征抓取的卷积层主要是用来学习“如何观察”。

3、卷积神经网络http://www.hackcv.com/index.php/archives/104/?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

4、台湾李宏毅教授的课程主页（一天搞懂深度学习的作者）http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS17.html

5、深度学习入门https://www.zhihu.com/question/26006703

6、教程http://ufldl.stanford.edu/wiki/index.php/UFLDL%E6%95%99%E7%A8%8B