a brief introduction of deep learning

 

 three steps for deep learning

 

 

 

• Step1：神经网络（Neural network）
• Step2：模型评估（Goodness of function）
• Step3：选择最优函数（Pick best function）

  neural network

 

 

手动连接神经元

 

 如： 1*1+（-1）*（-2）+1=4   1/（1+e^(-4）)=0.98

 

 

 

不同的参数，就是一个function

 

 

 

 

不同模型的层数

 

 

 

 矩阵运算表示网络结构

 

 

 

 

 

最后一组x是由输入x经过复杂运算抽出的feature

本质：通过隐藏层进行特征转换

 

 

 

 

一个手写数字识别的例子

 

 

 

你可能要问的问题

 

 

 

接下来有几个问题：
多少层？ 每层有多少神经元？ 
我们需要用尝试加上直觉的方法来进行调试。对于有些机器学习相关的问题，我们一般用特征工程来提取特征，但是对于深度学习，
我们只需要设计神经网络模型来进行就可以了。对于语音识别和影像识别，深度学习是个好的方法，因为特征工程提取特征并不容易。
结构可以自动确定吗？
有很多设计方法可以让机器自动找到神经网络的结构的，比如进化人工神经网络（Evolutionary Artificial Neural Networks）但是这些方法并不是很普及 。
我们可以设计网络结构吗？
可以的，比如 CNN卷积神经网络（Convolutional Neural Network ）

 

对于模型的评估，我们一般采用损失函数来反应模型的好差，所以对于神经网络来说，我们采用交叉熵（cross entropy）函数来对y和​y^​​的损失进行计算，

接下来我们就是调整参数，让交叉熵越小越好。

 

 

 对于所有训练数据的loss

 

 

利用梯度下降来最小化total loss

 

 方向传播进行梯度下降

 

 越深越好？

 

 普遍性定理