摘要：
一个新的激活函数——Relu Relu函数作为激活函数，有下面几大优势： 速度快 和sigmoid函数需要计算指数和倒数相比，relu函数其实就是一个max(0,x)，计算代价小很多。 减轻梯度消失问题 稀疏性。有论文声称人工神经网络在15%-30%的激活率时是比较理想的。因为relu函数在输入小于 阅读全文
摘要：
sigmoid函数 神经网络激活函数是sigmoid函数。 定义为： sigmoid函数是一个非线性函数，值域是(0,1)。函数图像如下图所示： sigmoid导数： 可以看得出sigmoid导数计算很方便。 则 神经网络 神经网络其实就是按照一定规则连接起来的多个神经元。 神经网络实际上就是一个输 阅读全文
摘要：
当面对的数据集不是线性可分的时候，『感知器规则』可能无法收敛，这意味着我们永远也无法完成一个感知器的训练。 为了解决这个问题，我们使用一个可导的线性函数来替代感知器的阶跃函数，这种感知器就叫做线性单元。线性单元在面对线性不可分的数据集时，会收敛到一个最佳的近似上。 线性单元将返回一个实数值而不是0, 阅读全文
摘要：
神经网络能够拟合任何函数。 而神经网络的基本组成单元——神经元，也就是感知器。 感知器组成部分： 输入权值，偏置 激活函数：阶跃函数 输出 感知器作用： 布尔运算 拟合任何线性函数（线性分类、线性回归） 不能实现异或 感知器的训练 输入： 权值：每个输入都有一个权值 偏置：最后加一个偏置 输出公式： 阅读全文