胡思乱想(1) - The Mechanism of SVRG

The mechanism of SVRG

首先回顾一下，在strongly convex和$L$-smooth条件下，我们是可以去得到线性收敛的收敛速度，也就是$\mathcal{O}(\log (\frac{1}{ϵ}))$（这里省去了条件数$\kappa$)。而在随机梯度下降的条件下，我们取得的收敛速度是次线性收敛速度，也就是$\mathcal{O}(\frac{1}{ϵ})$。

相比于确定性deterministic算法来说，随机性stochastic算法得到的梯度在期望上是一致的，但是样本选取的随机性为收敛的上界引入了方差（一般来说我们会假设这个方差上界是固定的）。为了解决引入的方差（固定值），我们通过让学习率/步长$\eta =\mathcal{O}(1/t)$以保证收敛。

SVRG的机制在于，在保证期望相同的同时，使得方差不再是一个固定的值，而是随着目标函数值的更新而逐渐下降的。具体而言

$v_t$是用来更新/搜索的方向，根据方差的公式$\text{Var}(x)=\mathbb{E}[x^2]-\mathbb{E}[x{]}^2$，可以看到方差的第一项是跟损失函数$P_{t-1}$相关的，如果损失函数是下降的话，那么对应的方差也是下降的。