4-1 深层神经网络

深层神经网络( Deep L-layer neural network

如下图所示,表示从logistic 回归到5层的神经网络,严格的说,logistic回归也是一个一层的神经网络,神经网络的深浅只是一种程度。

有一些函数,只有非常深的神经网络能学会,而更浅的模型则办不到。

对于给定的问题,先去尝试逻辑回归,尝试一层然后两层隐含层,然后把隐含层的数量看做是另一个可以自由选择大小的超参数,然后再保留交叉验证数据上评估,或者用你的开发集来评估。

符号定义,以下面的神经网络为例:

这是一个四层的神经网络,使用L表示层数,则在这里L=4。

使用${n^{[l]}}$表示第l层神经元的个数,那么在这里:

${n^{[1]}} = 5$
${n^{[2]}} = 5$
${n^{[3]}} = 3$
${n^{[4]}} = {n^{[L]}} = 1$
${n^{[0]}} = {n_x} = 3$

使用${a^{[l]}}$表示第l层的激活结果,${w^{[l]}}$ ,${b^{[l]}}$表示第l层的参数。

posted @ 2018-08-25 14:16  刘-皇叔  阅读(520)  评论(0编辑  收藏  举报