PYTHON DAY3 深度学习理论
我觉得我需要补充一些理论，才能开始学。
## 3.1人工智能、机器学习和深度学习
人工智能：计算机能自动处理似乎至于人类只能相关的运算；
机器学习：人工智能的分支，用能学习的系统解决以前被认为与人类独有智能相关的问题；
深度学习：机器学习的分支，无须在模型中人工构造特征，因为系统可以将其作为学习结果，自动检测并抽取特征。
三者的关系：
## 3.2人工神经网络
（1）人工神经网络架构
人工神经网络是深度学习的基本要素，其应用构成了许多深度学习技术的基础，其结构参考了生物神经回路，具有学习能力。
神经网络的行为、能力和效率取决于节点的连接方式、网络层数和分配给每一层的神经元，所有这些因素共同定义了神经网络架构，下面是一个经典的神经网络架构：
（2）单层感知器架构
单层感知器（SLP）是最简单的神经网络模型，是一个双层神经网络，没有隐藏层，将输入神经元通过权重不同的连接传送信号至输出神经元，架构如下所示：
SLP架构中的边，用数学模型标识就是权重向量，由神经元的局部记忆组成；
SLP架构中的输出神经元接收一个输入向量X，其分量来自不同的神经元；
输出神经元计算输入信号的加权和。
输出神经元可以感知总信号，若该信号超出神经元的激活阈值就激活，发送激活函数的值，否则就发送未激活函数的值。
（3）SLP学习方式
神经网络的学习过程称为学习阶段。学习是用迭代的方式进行的，即是说神经网络按照预定次数执行多轮运算，每一次运算稍微调整突触wi的权重。
神经网络的学习仍然需要训练集，训练集的每个输入都可以得到期望的输出值，通过对比神经网络的输出值和期望值可以来调整权重减少差距。实际操作中，这是通过最小化深度学习问题的一个特定代价（损失）函数来实现的。实际上，每轮学习中不同连接的权重都将被调整，以最小化损失。
也就是说，有监督学习适用于神经网络。
学习阶段结束后，就会进入评估阶段。使用训练好的SLP分析另一组输入（也就是测试集，测试集的结果也是已知的），从而评估感知器的结果和期望结果的差距，正确评估所训练的神经网络解决深度学习问题的能力。
（4）多层感知器
多层感知器（MLP）是一种更复杂、高效的神经网络架构。该网络架构的输入层和输出层之间插入了一个或多个隐含层。MLP架构如下所示：
MLP比SLP更加复杂，但是基本概念与SLP一致。
MLP中，每个模型也被赋予的权重 ，必须通过训练集来最小化这些权重；
MLP的每个节点必须用激活函数处理所有输入信号；
MLP有多个隐含层，神经网络学习能力更强，能针对深度学习尝试解决的问题类型更有效地进行调整。
另一方面，该系统越复杂，学习阶段和评估阶段需要的算法也就越复杂。
其中，有一个名叫反向传播（back propagation）的算法，可以高效地调整各个连接的权重、最小化代价，从而快速、渐进地将输出值收敛到期望值；
而代价函数最小化阶段通常是采用梯度下降技术。
综上所述，是指深度学习如何用人工神经网络这种基础结构来模拟人脑的功能（处理信息的方式）。在最高的读取层，这两类系统存在真正的一直性。上面讲过神经网路的结构是基于神经元层的，第一层处理完信号后将其传输到下一层进行处理，以此类推，直到得到最终结果。每层神经元以特定方式处理信息，为同一信息生成不同层级的标识、
