机器学习中的深度学习的概念及激活函数、梯度爆炸和梯度消失的总结归纳

1.何为深度学习

在当今时代，机器学习不断深入，很多领域被研究，深度学习是目前最为热门之一的领域，
它被引入机器学习使其更接近于最初的目标——人工智能。
深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。

2.深度学习的目标

让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据，所以叫人工+智能；

3.目前深度学习的相关领域

• 计算机视觉（CV）
• 搜索技术
• 数据挖掘
• 机器翻译
• 自然语言处理
• 多媒体学习
• ……

4.深度学习的概念及流程

在机器学习中我们都是对新来的数据进行收集特征提取，处理等等然后再去训练模型，这样显得很浪费时间；
深度学习就是帮我们省略掉数据处理这一步骤直接进行模型训练，不需要我们自己去提取特征，而是自动地对数据进行筛选，自动地提取数据高维特征。
简单的利用一张图说明一下：

• 里面的模型会不断优化也就是调节超参数，所以会有不断完善的模型

5.激活函数

深度学习中即模拟人脑神经元的学习，每一层都有许多节点，与上一层全部相连就是全连接层
还是直接上图

激活函数就是，每一次传播到下一层的输入之前都会进行进行一次激活函数运算（运算wi权值，每一层的权值），然后才给下一层输入
不断往下，直到输出，然后更新超参数的过程也就是调节损失函数的过程，即往回求偏导，
简单的说就是传的层数越多，求导越多次，所以就是会有很多链式法则，很多个相乘，各个乘数大于1就会出现梯度爆炸，小于1就会消失，梯度就是偏导数（跟高数里的定义一样，变化速率最大的那点导数值）

6.最后，总结

• 深度学习的目标（人工+智能）是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。

• 深度学习就是帮我们省略掉数据处理这一步骤，不需要我们自己去提取特征，而是自动地对数据进行筛选，自动地提取数据高维特征。

• 激活函数就是，每一次传播到下一层的输入之前都会进行进行一次激活函数运算（传入的w是代表上一层那个特征值占整体的权值），然后才给下一层输入。

• 传的层数越多，求导越多次，所以就是会有很多链式法则，很多个相乘，各个乘数大于1-->梯度爆炸，小于1-->梯度消失。