NgDL:第四周深层神经网络
4.3核对矩阵维数
根据前向的矩阵,可以计算出右上的规律,对于第L层的w来说,其维数为(n[L],n[L-1]),n[L]表示第L层的单元数。
4.4为什么深层神经网络会好用?
如果要做一个人脸识别的系统:那么浅层的神经网络,进行特征识别或边缘探测,第一张图中的一个小方块就是一个神经单元?无法理解。比如说有个神经单元去找眼睛的部分,这样每个神经元就可以找脸部不同的部位,最后将这些部分放在一起。
边缘探测中针对的都是比较小的,而到面部识别会针对较大的区域。金字塔形状的NN。
Ng讲到了在语音识别上的一个应用:
输入是一段音频,第一层神经网络可以探测比较低层次的音频波形特征,比如音调变高还是变低,然后可以去探测声音的基本单元(音位),cat中的“壳”就是一个音位,然后就可以识别单词,单词组合起来就是词组。
到网络深层时就可以做更复杂的事情,比如检测脸部或者词组。
对于电路和深度学习的结合的例子说明为什么深度网络效果好。
假设要对输入特征计算异或,从x1 XOR....xn,如果画一个异或的树图,可建一个较深的异或树图,隐层数为log(n),就是一个二叉树的高度;
如果不允许使用多层神经网络的话,只能使用一个隐层,那就需要考虑所有可能的组合,需要隐层单元数程指数式增长;(需要考虑所有的可能的结合情况?)
4.7参数VS超参数
参数:就是比如NN模型中的权重和偏执单元值。
超参数:就是能控制参数的参数。比如学习率α,迭代次数,隐含层层数、隐含层中的单元数、激活函数的选择
还有一些其他的超参数:momentum,minibatch size,正则化规则等。
//头一次知道超参数的定义,原来是这样,不过另外的超参数还不太明白。
这种公式表述的我还看不太懂,保留一下: