神经网络(3)---如何表示hypothesis,如何表示我们的model

大脑中的神经元

我们的大脑都充满了上图所示的神经元，神经元有一个细胞体(cell body)，还有一些input wires,专业词汇叫做树突(dendrite),它们从其它地方接收输入信息，神经元还有一个output wire,专业词汇叫做轴突(Axon),用来给其它的神经元发送信号。简单说来，神经元就是一个计算单元，它从input wires那儿接收输入，经过一些计算后，然后能过output wire(轴突)将输出传送给其它神经元。

大脑中的一系列神经元是如何交流的

神经元之间是通过小脉冲电流(spikes)来进行交流的，如果一个神经元想要发送信息，它发送的是小脉冲电流，通过轴突传送给与其连接的其它神经元的树突，这个神经元接收到信息后，经过计算，再通过自己的轴突，将信息传送给其它的神经元。

我们的知觉与肌肉也是这样工作的，如果你想要移动你的一块肌肉，你的神经元将电流传给你的肌肉，导致肌肉收缩。我们的眼睛也可以传递电流给我们大脑中的神经元的树突，这样引起人体的知觉。

Neuron Model: Logistic Unit（单个的神经元）

 

中间的红色的小圆圈可以看做the body of neuron,feed the neuron a few inputs通过input wires,然后the neuron做一些计算，然后输出值在output wire.做的计算是h_Θ(x)=1/(1+e^-ΘTx).

当我们画一个神经网络时，有时我们只画x1,x2,x3这三个结点，有时我们会另外增加一个x0的结点，这个x0结点有时称为the bias unit(neuron),因为x0=1,有时候我们会画上它，有时候不画，取决于对具体的问题来说哪个更方便。

在神经网络的另一个专业词汇是sigmoid(logistic) activation function:它是g(z)=1/(1+e^-z).

Θ参数在神经网络中有时称为weights of a model = parameters of model.

神经元网络

 

 

神经网络是一系列的神经元紧紧结合在一起，在这个神经网络里面，第一层也称为input layer,最后一层也称为output layer,它是一个输出最后结果的神经元；中间的第二层称为the hidden layer,任何不是input layer和output layer的层都叫做hidden layer。

神经网络是如何计算的

 

 

 

我们用a_i^(j)表示activation of unit i in layer j。a₁⁽²⁾表示the activation of the first unit in layer 2.activation是指它会接收输入然后进行输出。

Θ^(j)为我们的参数，它为一个weights的矩阵，控制function mapping from layer j to layer j+1.

a₁⁽²⁾的值，a₂⁽²⁾的值，a₃⁽²⁾的值计算如上图所示，这儿我们有3个input units和3个hidden units，Θ⁽¹⁾的维度是3*4的矩阵。

一般来说，如果我们在第j层有s_j个units,在j+1层有s_j+1个units,则Θ^(j)的维度是s_j+1*(s_j+1)。

最后一个结点的计算如上图所示的h_θ(x)，Θ⁽²⁾表示参数矩阵，控制第2层到第三层的计算.