一天搞懂深度学习--深度学习简介

前言

《一天搞懂深度学习》是一个300多页的PPT，是台湾学者李宏毅写的。虽然对于深度学习也有一定的了解了，但是有些知识点还是会经常忘记。温故知新，所以决定重看这本算是入门书籍吧。

PPT主要分成了四个部分：所以本系列博客也将分成四篇来写。分别是：深度学习简介，训练神经网络的要点，神经网络的多样性和神经网络的新浪潮。

 

一、深度学习介绍

　　（1）神经网络主要有三个部分：定义模型函数->判断模型函数好坏->选择一个最好的函数

　　　　1、神经网络之所以叫神经网络是因为它的作用过程很像神经单元。以下是神经元结构。

　　　　2.因为神经元之间连接方式的不同，就延伸出了许多种不同的神经网络。

　　　　　　比如全连接前向神经网络。这个网络的特点是前一层的每个神经单元都与下一层的所有的神经单元连接。

　　　　3.判断模型函数的损失，最关键的就是要定义模型的损失函数，当我们确定了模型的损失函数，那么我们的目标就是最小化这个损失。进一步的说，选择最好的模型参数过程也变成求最小化损失函数的参数过程。

　　　　4.选择最好的模型参数。采用枚举法显然是不可行的。一种有效的选择模型参数的方法是梯度下降法。但是梯度下降法并不能保证会到达全局最小，它经常会陷入局部最小的情况，这取决于初始点的选择。在深度学习中梯度下降算法的应用有一个特别的名字后向传播算法。后向传播算法其实就是一个利用梯度下降不断更新神经网络中不同神经节点的权重的过程。

 

二、深度学习为什么深

(1)深度学习为什么深

　　1.毫无疑问，参数越多，模型训练的效果会更好。但是有理论已经证明了单隐层有足够多的神经单元的话可以实现任意函数。但是实际上单隐层内随着节点单元的数量增多，准确率提升的太慢，并且可能不升反降。

　　2.相比于用单隐层进行训练，深度神经网络表示函数的方式更加的简洁。

　　3.构建深度神经网络有利于模块化训练过程，这样或许我们就可以利用较少的训练数据来达到想要的效果。

 

三、深度学习初探

（1）可以使用keras和tensorflow进行模型训练