一、深度学习简介

1、什么是神经网络

  简单来说，深度学习（Deep Learning）就是更复杂的神经网络（Neural Network）

eg：从预测房价开始，自变量x：size of house，因变量y：price，根据这些输入输出来建立房价预测模型，来预测房价：y=f(x)。也许可以把这个房屋价格加一个拟合函数，看成是一个非常简单的神经网络。

一般地，我们会一条直线来拟合图中这些离散点，即建立房价与面积的线性模型。其实这个简单的模型（蓝色折线）就可以看成是一个神经网络，而且几乎是一个最简单的神经网络。我们把该房价预测用一个最简单的神经网络模型来表示，如下图所示：

  上图中的小圆圈就是一个独立的神经元。这个神经元做的就是输入面积，完成线性运算，取不小于0的值，最后输出最终预测价格。上面讲的是一个单神经元网络，输入x仅仅是房屋面积的一个因素。规模很小的、大一些的神经网络是把这些单个神经元堆叠起来形成的。

  现在把上面举的房价预测的例子变得复杂一些，而不是仅仅使用房屋面积一个判断因素。神经网络模型结构如下所示：

  它有四个输入，分别是size，#bedrooms，zip code和wealth。在给定这四个输入后，神经网络所做的就是输出房屋的预测价格y。图中，三个神经元所在的位置称之为中间层或者隐藏层（x所在的称之为输入层，y所在的称之为输出层），每个神经元与所有的输入x都有关联（直线相连）。

2、利用神经网络进行监督学习

      目前大多数深度学习创造的经济价值都基于一种机器学习：监督学习（supervised learning）。由神经网络模型创造的价值基本上都是基于监督式学习（Supervised Learning）的。监督式学习与非监督式学习本质区别就是是否已知训练样本的输出y。

       根据不同的问题和应用场合，应该使用不同类型的神经网络模型。例如上面介绍的几个例子中，对于一般的监督式学习（房价预测和线上广告问题），我们只要使用标准的神经网络模型就可以了。而对于图像识别处理问题，我们则要使用卷积神经网络（Convolution Neural Network），即CNN。而对于处理类似语音这样的序列信号时，则要使用循环神经网络（Recurrent Neural Network），即RNN。还有其它的例如自动驾驶这样的复杂问题则需要更加复杂的混合神经网络模型。

       CNN和RNN是比较常用的神经网络模型。下图给出了Standard NN，Convolutional NN和Recurrent NN的神经网络结构图。

       机器学习应用于结构化数据（structured data）和非结构化数据（unstructured data）。

结构化数据（Structured Data）是数据的数据库，意味着每个特征都有清晰的定义，比较容易理解。

非结构化数据（Unstructrued Data），通常指的是比较抽象的数据，比如音频、原始音频、图像、文本。