Deep Learning概述

 

1.深度学习发展简史

2.三步实现深度学习

2.1Neural Network

神经网络由模仿脑部神经系统发展而来，一个节点称为一个“Neuron”，包括连接在节点上面的weights和biases。

在全连接的神经网络中，一个神经元节点接受上一层节点的输入，分别乘以连接边上的权重，放进激活函数中，获得对应输出，并将该层的输出作为下一层的输入向下传递。

每一个神经元都有一个bias。给出一个神经网络架构，相当于确定了一个函数集，我们要做到就是在这个函数集和里找到效果做好的函数。

 

 

神经网络可以自己提取特征进行学习，不需要在进行特征工程。

 

 

 2.2goodness of a function

给定一组参数就可以根据分类的结果算出误差cost，使用Cross Entropy计算每一个输出误差。

在函数集中找到使总误差L最小的函数，也就是找到一组参数theta使L最小。

2.3pick the best function

 

同样适用Gradient Descent来训练。但是gradient的求法使用的是backpropagation。

 3.结论

 

 深度学习其实就像“把大象放进冰箱那样简单”，只需三步。