摘要:
批归一化(Batch Normalization) 令一个Batch为 \(\mathcal{B}=\{\bm{x}_1,...,\bm{x}_m\}\),其中 \(\bm{x}_i\in\mathbb{R}^d\)。 求出均值和方差: \[\bm{\mu}:=\frac{1}{m}\sum\lim 阅读全文
摘要:
拉格朗日中值定理 设函数 \(f\) 在有界闭区间 \([a,b]\) 上连续,在 \((a,b)\) 上可微,则存在 \(\xi\in (a,b)\) 使得 \[f'(\xi)=\frac{f(b)-f(a)}{b-a}. \] 阅读全文