Neural Network and DeepLearning (4.1)神经网络可以计算任何函数的可视化证明

神经网络拥有一种普遍性。不论我们想要计算什么样的函数，我们都确信存在一个神经网络可以计算它。

两个预先声明

”神经网络可以计算任何函数“的两个预先声明：

1.这句话不是说一个网络可以被用来准确地计算任何函数。而是说，我们可以获得尽可能好一点的近似。

   通过增加隐藏神经元的数量，我们可以提升近似的精度。

  

2.可以按照上面的方式近似的函数类其实是连续函数。

总结：更加准确的关于普遍性定理的描述是：包含一个隐藏层的神经网络可以被用来按照任意给定的精度来近似任何连续函数。

 

一个输入和一个输出的普遍性

第一层的权重都有一些大的，恒定的值，比如：w=1000;

隐藏神经元上的偏置只是b=-ws。例如对于第二个隐藏神经元s=0.2变成了b=-1000*0.2=-200;

最后一层的权重由h决定。例如选择的第一个h，h=-0.5，意味着顶部两个隐藏神经元的相应的输出权重是-0.5和0.5.如此等等，确定整个层的输出权重。

最后输出神经元的偏置为0；