Vectorizing across multiple examples

Vectorizing across multiple examples

$$So\; given\; input:\;x\\ \begin{align} \mathop{z^{[1]}}\limits_{(4,1)} &=\mathop{W^{[1]}}\limits_{(4,3)} \mathop{x}\limits_{(3,1)} +\mathop{b^{[1]}}\limits_{(4,1)}\\ \rightarrow \mathop{a^{[1]}}\limits_{(4,1)} &=\sigma(\mathop{z^{[1]}}\limits_{(4,1)})\\ \rightarrow \mathop{z^{[2]}}\limits_{(1,1)} &=\mathop{W^{[2]}}\limits_{(1,4)} \mathop{a^{[1]}}\limits_{(4,1)} +\mathop{b^{[2]}}\limits_{(1,1)}\\ \rightarrow \mathop{a^{[2]}}\limits_{(1,1)} &=\sigma(\mathop{z^{[2]}}\limits_{(1,1)})\\ \end{align}$$

在上次学习中，我们主要推导上面这四条公式

图1.单个样本

这个图就是我们计算单个样本的输出时所用到的，现在我们需要重复多次这种运算，所以我们首先想到的肯定还是向量化：

$$对于单个样本我们有\\ x\rightarrow a^{[2]}=\hat{y}\\ 所以对于m个样本，我们有\\ \begin{array}{c} x^{(1)}&\rightarrow &a^{[2](1)} = \hat{y}^{(1)}\\ x^{(2)}&\rightarrow &a^{[2](2)} = \hat{y}^{(2)}\\ \vdots &\rightarrow &\vdots \\ x^{(m)}&\rightarrow &a^{[2](m)} = \hat{y}^{(m)}\\ \end{array}\\ 在这里，我们容易知道\\x是一个样本，同时也是个n\times1的向量\\ 而x^{(1)},x^{(2)},\cdots,x^{(m)}则表示我们有m个这种样本\\ (解释一下a^{[2](i)}的[\;^{[2]}]表示第二层，而[\;^{(i)}]则表示对应第i个样本)\\ 很容易想到后面我们可以把他们一列一列地放在一起组成一个n\times m的矩阵\\ $$

如果我们用for-loops去一个个样本执行时，我们可以这样（伪代码）

$$for\;i=1\;to\;m:\\ \begin{align} z^{[1](i)} & = W^{[1]}x^{(i)}+b^{[1]}\\ a^{[1](i)} & = \sigma(z^{[1](i)})\\ z^{[2](i)} & = W^{[2]}a^{[1](i)}+b^{[2]}\\ a^{[2](i)} & = \sigma(z^{[2](i)})\\ \end{align}$$

我们把m个样本x向量化后记为X

$$X=\begin{bmatrix} \mid & \mid &&\mid \\ x^{(1)} & x^{(2)} &\cdots &x^{(m)}\\ \mid & \mid &&\mid \end{bmatrix} \\ (n_x,m)\\ 注:n_x指的时x中的数据数目$$

所以我们去写代码时应该是这样

$$\begin{align} Z^{[1]} & = W^{[1]}X+b^{[1]}\\ A^{[1]} & = \sigma(Z^{[1]})\\ Z^{[2]} & = W^{[2]}A^{[1]}+b^{[2]}\\ A^{[2]} & = \sigma(Z^{[2]})\\ \end{align}$$

里面的Z同样

$$Z^{[1]}=\begin{bmatrix} \mid & \mid &&\mid \\ z^{[1](1)} & z^{[1](2)} &\cdots &z^{[1](m)}\\ \mid & \mid &&\mid \end{bmatrix} \\(n_z,m)\\ A^{[1]}=\begin{bmatrix} \mid & \mid &&\mid \\ a^{[1](1)} & a^{[1](2)} &\cdots &a^{[1](m)}\\ \mid & \mid &&\mid \end{bmatrix} \\(n_z,m)\\ 注:容易知道n_z不一定等于n_x,但n_a=n_z$$

对于我们刚刚所提到的矩阵，我们可以画个这样的图：

到目前为止，我们可以得到一个在神经网络中正向传播的向量化实现，下面我们将对其进一步解释:

---

我们不妨假设只有三个样本,而且还是应用上面那个神经网络：

$$X^{[1]}=\begin{bmatrix} \mid & \mid &\mid \\ x^{[1](1)} & x^{[1](2)} &x^{[1](3)}\\ \mid & \mid &\mid \end{bmatrix} \\ z^{[1](1)}=W^{[1]}x^{[1](1)}+b^{[1]}\\ \rightarrow \mathop{\begin{bmatrix} \;\cdot\; \\ \cdot \\ \cdot \\ \cdot \\ \end{bmatrix}}\limits_{(1)} =\begin{bmatrix} \cdot&\cdot&\cdot \\ \cdot&\cdot&\cdot \\ \cdot&\cdot&\cdot\\ \cdot&\cdot&\cdot\\ \end{bmatrix} \mathop{\begin{bmatrix} \;\cdot\; \\ \cdot \\ \cdot \\ \end{bmatrix}}\limits_{(1)} + \begin{bmatrix} \;\cdot\; \\ \cdot \\ \cdot \\ \cdot \\ \end{bmatrix}\\ Z^{[1]}=W^{[1]}X^{[1]}+b^{[1]}\\ \rightarrow \begin{bmatrix} \mathop{\begin{bmatrix} \;\cdot\; \\ \cdot \\ \cdot \\ \cdot \\ \end{bmatrix}}\limits_{(1)} \mathop{\begin{bmatrix} \;\cdot\; \\ \cdot \\ \cdot \\ \cdot \\ \end{bmatrix}}\limits_{(2)} \mathop{\begin{bmatrix} \;\cdot\; \\ \cdot \\ \cdot \\ \cdot \\ \end{bmatrix}}\limits_{(3)} \end{bmatrix}= \begin{bmatrix} \cdot&\cdot&\cdot \\ \cdot&\cdot&\cdot \\ \cdot&\cdot&\cdot\\ \cdot&\cdot&\cdot\\ \end{bmatrix} \begin{bmatrix} \mathop{\begin{bmatrix} \;\cdot\; \\ \cdot \\ \cdot \\ \end{bmatrix}}\limits_{(1)} \mathop{\begin{bmatrix} \;\cdot\; \\ \cdot \\ \cdot \\ \end{bmatrix}}\limits_{(2)} \mathop{\begin{bmatrix} \;\cdot\; \\ \cdot \\ \cdot \\ \end{bmatrix}}\limits_{(3)} \end{bmatrix} +\begin{bmatrix} \cdot&\cdot&\cdot \\ \cdot&\cdot&\cdot \\ \cdot&\cdot&\cdot\\ \cdot&\cdot&\cdot\\ \end{bmatrix} \\注:由于广播b的每一列应该都是一样的$$

由矩阵相乘的知识我们容易知道这是对的,这样，我们也就直观解释了这样向量化的原因；

下面一章我们继续学习不同激活函数的作用，除了sigmoid函数，我们应该也有更好的激活函数。