[学习笔记]深度学习-卷积神经网络从入门到精通-第一章概述

本章介绍神经网络的起源和发展，说明形成和演变，分析应用和影响，讨论缺陷和视图，总结平台和工具，概括内容结构和案例数据。

1.1起源和发展

起源：人工神经网络（本质上是）一类对神经网络（具有深层结构）有效的训练方法

神经网络也就是一个由神经元组成的分层系统，而其深度就是不包括输入层的层数。其组成部分：输入层x,隐含层h,输出层y。

发展历程：1943MP模型->1949提出有关学习的思想->1958感知模型及其学习算法

　　　　　　->20世纪八九十年代研究高峰（hopfield神经网络，玻尔兹曼机，多层感知器【最早的深度学习】）

　　　　　　->1991提出深层网络存在梯度消失或爆炸问题（深度学习里程碑）

　　　　　　->2006深度学习正式发端

关键词：

　　　　1‘MP模型：n个输入，n个权值，1个偏b，一个输出y

　　　　2’第一个具有深度的神经网络：fukushima神经认知机

　　　　3‘反向传播是最常用最著名的算法。有监督学习算法，需要教师指导信号即需要提供训练样本，对给定输入指明相应输出。

　　　　4’浅层网络：具有一个隐含层的网络。

　　　　　深层网络：具有两个或以上隐含层的网络。

　　　　5‘单隐含层感知器逼近定理：只要单隐含层包含的隐含神经元足够多，就能在闭区间上以任意的精度逼近任何的一个多变量连续函数。

　　　　6'梯度消失或爆炸问题：累积反向传播误差信号，在神经网络的层数增加会出现数衰减或增长的现象，从而导致数值快速收缩或越界，

　　　　　　也就是很难用反向传播算法训练的主要原因。

　　　　7‘研究良好期望：对于给定数目的训练样本，如果缺乏其他先验的知识，人们更期望使用少量的计算单元来建立目标函数的紧表达，以获得更好的泛化能力。

　　　　8’潜在能力：深度为k的网络能够表达的函数是用深度为k-1的网络来表达时有时需要的计算单元会呈指数增长。

1.2卷积神经网络的形成和演变

标准的卷积神经网络一般由输入层，（交替的卷积层和池化层，全连接层）和输出层构成。

　　　　　　　　　　　　　　　　　　　　也就是隐含层细化一下。

1.3卷积神经网络的应用和影响

图像分类和识别，目标定位和检测等大规模数据评测

应用方面：

手写字符识别，图像分类，单目标定位挑战，人脸验证，交通标志识别，视频游戏，视频分类，语音识别，机器翻译，围棋程序。

1.4卷积神经网络的缺陷和视图

视觉方面仍不如人类。

通过可视化技术，展现网络各层直觉的期望性质。

1.5卷积神经网络的GPU实现和cuddn库

cpu训练较慢，采用gpu加速。

cuda，也就是通用计算的并行计算平台和编程模型。以c语言为基础，并对c进行扩展，

在显卡芯片执行程序，提供深度神经网络加速库，完成多个函数层的快速实现。

1.6卷积神经网络的平台和工具

1‘Theano

2'TensorFlow

3'Caffe

4'Caffe2

5'CNTK

6'MXNet

7'Torch

8'Deeplearning4J(DL4J)

9'Keras

1.7本书的内容结构和案例数据

一章概述

二章预备知识

三章LeNet模型

四章AlexNet

五章应变模型

六章加深模型

七章跨连模型

八章区域模型

九章分割模型

十章特殊模型

十一章强化模型

十二章阿尔法狗设计原理和思想，分析MuGo的游戏应用案例　　　　

1.7.2案例数据

1‘MNIST

2’GTSRB

3‘RRSI

4’ImageNet

5‘　CIFAR-10

6'Oxford-17

7'AR

8'VOC 2007

 

9‘SIFT Flow

10’ADE20K

11‘COCO 2014

12’CelebA

13‘Gamerecords