神经网络激活函数(非线性化)的作用(吴恩达)
当神经元输出a = z = ωX+b时,该隐藏层则是线性的
假如该神经网络每一个隐藏层都是线性的,根据叠加定理,整个神经网络都是线性的(可认为可以等效为一层线性层的网络结构),这样就无法做出非线性的输出。
而非线性层是不满足叠加定理的,即无法进行等效整合,所以需要引入非线性层,即激活函数。
重点:叠加定理的使用条件、非线性输出的需求
当神经元输出a = z = ωX+b时,该隐藏层则是线性的
假如该神经网络每一个隐藏层都是线性的,根据叠加定理,整个神经网络都是线性的(可认为可以等效为一层线性层的网络结构),这样就无法做出非线性的输出。
而非线性层是不满足叠加定理的,即无法进行等效整合,所以需要引入非线性层,即激活函数。
重点:叠加定理的使用条件、非线性输出的需求