11.5.2 小批量

首先复习一下有放回抽样和无放回抽样的等价性。假设现在有$n$个不同物体，我们从中抽取$B$个物体。计算第$i$次抽到某个特定物品的概率。对于有放回抽样，概率为$\frac{1}{n}$；对于无放回抽样，概率为$\frac{A_{n-1}^{B-1}}{A_n^B}=\frac{1}{n}$；我们还可以证明在无放回抽样中，第$i$次抽取和第$j$次抽取是独立的
期望保持不变：$E[\frac{1}{B}\underset{i=1}{\sum ^B}\partial f(x_i)]=\frac{1}{B}\underset{i=1}{\sum ^B}E[\partial f(x_i)]=\mathrm{\nabla }f(x)$
标准差减小$B^{-\frac{1}{2}}$：$\text{Var}[\frac{1}{B}\underset{i=1}{\sum ^B}\partial f(x_i)]=\frac{1}{B^2}\underset{i=1}{\sum ^B}\text{Var}[\partial f(x_i)]$