4-4 为什么使用深层表示?

为什么使用深层表示？（ Why deep representations?）

 

深度神经网络的这许多隐藏层中，较早的前几层能学习一些低层次的简单特征，等到后几层，就能把简单的特征结合起来，去探测更加复杂的东西。

比如人脸识别检测时，一般会从比较小的细节入手，比如边缘，然后再一步步到更大更复杂的区域，比如一只眼睛或是一个鼻子，再把眼睛鼻子装一块组成更复杂的部分。
再比如语音识别中，神经网络的第一层可能就会去先开始试着探测比较低层次的音频波形的一些特征，比如音调是变高了还是低了，分辨白噪音，咝咝咝的声音，或者音调，可以选择这些相对程度比较低的波形特征，然后把这些波形组合在一起就能去探测声音的基本单元。有了基本的声音单元以后， 组合起来，你就能识别音频当中的单词，单词再组合起来就能识别词组，再到完整的句子。

在深度学习中：

samll：指的是隐藏单元的数量少

deep：指的是隐藏层的数目多

深层的网络隐藏单元数量相对较少，隐藏层数目较多，如果浅层的网络想要达到同样的计算结果则需要指数级增长的单元数量才能达到。