深度学习方法及应用——学习笔记

学习教材是邓力和俞栋写的“深度学习方法及应用”，是一本综述性的书。

1、深度学习全称应该是深度结构学习，采用多层的、非线性信息处理方法，大概就是结构比较深的神经网络算法，也是包括输入层、隐层（多层）、输出层组成的多层网络，只有相邻层节点之间有连接，同一层以及跨层节点之间相互无连接，每一层可以看作是一个逻辑回归模型；这种分层结构，是比较接近人类大脑的结构的。深度学习算法的实现依赖于三个因素：①算法本身的提出；②硬件处理性能的提升；③大量可用于训练的数据。

2、属于机器学习，既然这样，就包括有监督和无监督的深度学习网络，还有一种混合深度学习网络，就是利用无监督学习进行预训练，辅助下一个阶段的监督学习。

3、无监督的深度学习网络的经典方法是深度自编码器，此外还有深度玻尔兹曼机、和积网络、递归神经网络、；

4、混合深度学习网络适用于在训练数据有限，并且没有其他合适的正则化方法可利用的情况下，这种独特的预训练方法是以受限玻尔兹曼机为基础的，利用无监督的深度置信网络预训练深度卷积神经网络就是一种混合深度网络；

5、有监督的深度学习网络，有深度堆叠式网络，卷积神经网络等。

6、深度学习在自然语言处理、信息检索等都有成功的应用；

7、而在计算机视觉领域中有关图像目标识别也有很多的应用，深度卷积神经网络就是一例。

8、在多模态处理和多任务学习中的应用。比如说文本和图像、语音和图像的共同作为训练样本。