神经网络学习笔记（一）

Neural network （神经网络）

A neural network is a massively parallel distributed processor made up of simple processing units that has a natural propensity for storing experiential knowledge and making it available for use. It resembles the brain in two respects:

1. Knowledge is acquired by the network from its environment through a learning process.
2. Interneuron connection strengths, known as synaptic weights, are used to store the acquired knowledge.

理解：神经网络模拟人的两个特点：

• 1. 通过从环境获取信息进行学习；
• 1. synaptic weights (突触权重）用于储存获得的信息。

Models of a neuron （神经元模型）

• 模型中有一系列的突触（synapses），也叫连结点（connection links），其特征是权重（weight）和强度（strength）。信号j通过突触j，被w_kj加重之后，传入神经元k。
• 通过一个 adder 对输入信号进行求和。
• 通过一个 activation function 函数对输出结果的范围进行限制。例如常用的 sigmoid function。如果使用 McCulloch–Pitts 模型作为 activation function，神经元模型就变成随机模型（stochastic），带有嗓音（noise）

如果加入偏差值（bias），模型就变成：

信号流图（signal-flow graphs）

连结可以有不同的方式：

反馈机制

神经元模型中的输出结果y可以把结果反馈给输入信号：

写成数学公式就是：

参考文献：

Neural Networks and Learning Machines by Simon Haykin