鱼书学习笔记：感知机与神经网络

        不管是感知机还是神经网络，都是由神经元和信号组成的多层网络，不同的是，感知机中神经元之间流动的是0或1的二元信号，而神经网络中流动的是连续的实数值信号。

        感知机和神经网络之间的桥梁是激活函数，朴素感知机的激活函数是阶跃函数（阈值），而神经网络的激活函数则有很多种，最常用的是sigmoid函数：y=1/(1+exp(-x))

        如果把这两个函数与水联系起来，则阶跃函数可以比作“竹筒敲石”，sigmoid函数可以比作“水车”。阶跃函数就像竹筒敲石一样，只做是否传送水(0或1)两个动作，而sigmoid函数就像水车一样，根据流过来的水量相应地调整传送出去的水量。

阶跃函数和sigmoid函数的共同性质：

①输入小时，输出接近0（为0）；随着输入增大，输出向1靠近（变成1）。

②不管输入信号有多小，或者有多大，输出信号的值都在0到1之间