优化算法-BFGS

  BGFS是一种准牛顿算法, 所谓的"准"是指牛顿算法会使用Hessian矩阵来进行优化, 但是直接计算Hessian矩阵比较麻烦, 所以很多算法会使用近似的Hessian, 这些算法就称作准牛顿算法(Quasi Newton Algorithm).

  1. 牛顿算法(Newton Algorithm)

  牛顿算法考虑了函数的二阶单数, 是一种二阶优化方法, 并且是所有其他二阶优化方法的鼻祖. 作为对比, 梯度下降(Gradient Descent)只考虑了函数的一阶导数, 是一阶优化方法. 

  推导过程：

  我们考虑函数的二阶泰勒展开式: \(\mathit{f_{quad}}(\mathit{\boldsymbol{\theta}})=\mathit{f_k}+\mathit{\boldsymbol{g}_k^T}(\mathit{\boldsymbol{\theta}-\boldsymbol{\theta}_k})+\frac{1}{2}(\mathit{\boldsymbol{\theta}-\boldsymbol{\theta}_k})^{\mathit{T}}\boldsymbol{H}_{\mathit{k}}(\mathit{\boldsymbol{\theta}-\boldsymbol{\theta}_k})\), 其中\(\mathit{\boldsymbol{\theta}}\)为需要优化的参数, \(\boldsymbol{g}_k\)为\(\nabla \mathit{f}(\mathit{\boldsymbol{\theta}_k})\)

  上式可以重写作:$$\mathit{f_{quad}}(\mathit{\theta}) = \mathit{\boldsymbol{\theta}^T}\boldsymbol{A}\mathit{\boldsymbol{\theta}}+\boldsymbol{b}^T\mathit{\boldsymbol{\theta}}+\mathit{c}$$

  其中

    式子-1

  二次函数的最小值取为\(x=-\frac{b}{2a}\)

  所以式子-1在\(\mathit{\boldsymbol{\theta}}\)取以下值时达到最小

  

  亦即Newton算法每次迭代时只需要对\(\mathit{\boldsymbol{\theta}_k}\)加上以下项

  

  牛顿方法的步骤为

  2. BFGS算法

  Newton算法在计算时需要用到Hessian矩阵\(\boldsymbol{H}\), 计算Hessian矩阵非常费时, 所以研究者提出了很多使用方法来近似Hessian矩阵, 这些方法都称作准牛顿算法, BFGS就是其中的一种, 以其发明者Broyden, Fletcher, Goldfarb和Shanno命名.

  BFGS算法使用以下方法来近似Hessian矩阵, \(\boldsymbol{B}_k \approx \boldsymbol{H}_k\):

  

  初始时可以取\(\boldsymbol{B}_0=\boldsymbol{I}\)

  因为Hessian矩阵的大小为\(\mathit{O}(\mathit{D}^2)\), 其中D为参数的个数, 所以有时Hessian矩阵会比较大, 可以使用L-BFGS(Limited-memory BFGS)算法来进行优化.

  参考文献:

  [1]. Machine Learning: A Probabilistic Perspective. p249-p252.

  [2]. Wekipedia: L-BFGS