Proximal Algorithms--Accelerated proximal gradient method

4.3 Accelerated proximal gradient method：

加速近端梯度方法：
基本的近端梯度方法的所谓的“加速”版本，就是在算法中包含了一个外推(extrapolation)步骤，一个简单的版本是：

yk+1:=xk+ωk(xk−xk−1)

xk+1:=proxλkg(yk+1−λk▽f(yk+1))

其中ωk∈[0,1)是外推参数，λk是一般的步长。这些参数必须以特定的方式进行选择才能达到收敛加速的效果。一个简单的选择是：

ωk=kk+3

仍然需要选择步长λk。
当▽f是Lipschitz连续，其常数为L。当使用固定步长λk=λ∈(0,1/L]时，该算法收敛速度为O(1/k2)。如果L未知的话，使用线性搜索确定步长λk。