简单单层bp神经网络

单层bp神经网络是解决线性可回归问题的。

该代码是论文：https://medium.com/technology-invention-and-more/how-to-build-a-simple-neural-network-in-9-lines-of-python-code-cc8f23647ca1#.7np22hkhc

的实现

代码是python，有注释，非常容易看懂。

#-*- coding: UTF-8 -*-
from numpy import exp,array,random,dot


class NeuralNetwork():
	def __init__(self):
		# 生成随机数种子
		random.seed(1)
		# 对每个神经元建模，含有三个输入和一个输出连接
		# 对3 * 1的矩阵赋予随机权重值，范围[-1,1],平均数为0
		self.synaptic_weights = 2 * random.random((3,1)) - 1

	# sigmoid 函数
	# 正规化操作，使得每个元素都是0~1
	def __sigmoid(self,x):
		return 1 / (1 + exp(-x))

	# sigmoid 函数求导
	# sigmoid 函数梯度
	# 表示我们对当前权重的置信程度
	def __sigmoid_derivative(self,x):
		return x * (1-x)

	# 神经网络——思考
	def think(self,inputs):
		# 把输入传递给神经网络
		return self.__sigmoid(dot(inputs,self.synaptic_weights))

	# 神经网络
	def train(self,training_set_inputs,training_set_outputs,number_of_training):
		for iteration in xrange(number_of_training):
			# 训练集导入神经网络
			output = self.think(training_set_inputs)

			# 计算误差
			error  = training_set_outputs - output

			# 将误差、输入和S曲线相乘
			# 对于置信程度低的权重，调整程度也越大
			# 为0的输入值不会影响权重
			adjustment = dot(training_set_inputs.T,error * self.__sigmoid_derivative(output))

			# 调整权重
			self.synaptic_weights += adjustment

if __name__ == "__main__":

	# 初始化神经网络
	neuralnetwork = NeuralNetwork()

	print "训练前的权重"
	print neuralnetwork.synaptic_weights

	# 训练集，四个样本，3个输入，1个输出
	training_set_inputs = array([[0,0,1],
								 [1,1,1],
								 [1,0,1],
								 [0,1,1]])
	training_set_outputs = array([[0,1,1,0]]).T

	# 训练神经网络
	# 10000次训练

	neuralnetwork.train(training_set_inputs,training_set_outputs,10000)

	print "训练后的权重"
	print neuralnetwork.synaptic_weights

	# 新数据测试

	print "考虑[1,0,0]"
	print neuralnetwork.think(array([1,0,0]))