神经网络

1. 感知机

若干二进制输入X1,X2,X3...,权重W1,W2,W3...

若∑jWjXj <= 阈值 输出 = 0 

若∑jWjXj > 阈值 输出 = 1

 可以把偏置看作对让感知机输出 1（类似于生物学上的“激活感受器”）难易程度的估算

logistic 函数

 sigmoid 神经元

 e约等于2.718281828

 

z = W*X + b

假设z是一个很大的正数，那么exp(-z)约等于0而sigmoid约等于1，如同感知机。相反，假设z是一个很小的负数，那么 exp(-z)约等于∞且sigmoid约等于0。所以，当 z是一个很小的负数时，sigmoid 神经元的行为也近似于感知机.

 

 

神经网络的架构

 

例如尝试确定一幅手写数字图像上写的是“9”。我们自然会想到对图像像素的灰度进行编码，作为输入神经元来设计神经网络。如果图像是一幅 64×64 的灰度图像，那么会需要 4096（64×64）个输入神经元，每个灰度在 0 和 1 之间取合适的值。输出层只需要包含一个神经元，当输出值小于 0.5 时表示“输入图像不是9”，大于 0.5 的值则表示“输入图像是 9”。