ADMM 算法原理简介

主要介绍 ADMM (Alternating Direction Method of Multipliers) 算法。

材料来源：

ADMM算法原理详解，Rookiee

---

1. ADMM 基本形式

ADMM 用于求解如下最优化问题：

$$\begin{array}{rl}& \underset{\mathit{x},\mathit{z}}{min}f(\mathit{x})+g(\mathit{z})\\ & s.t.\mathit{A}\mathit{x}+\mathit{B}\mathit{z}=\mathit{c}\end{array}$$

其中，$\mathit{x}\in {\mathbb{R}}^p$, $\mathit{z}\in {\mathbb{R}}^q$, $\mathit{A}\in {\mathbb{R}}^{m\times p}$, $\mathit{B}\in {\mathbb{R}}^{m\times q}$, $\mathit{c}\in {\mathbb{R}}^k$, $f:{\mathbb{R}}^p\to \mathbb{R}$, $g:{\mathbb{R}}^q\to \mathbb{R}$ 。

简单来讲，这一优化问题的目标函数包含两组可分离自变量（ $\mathit{x}$ 和 $\mathit{z}$ ），且存在线性等式约束。对于这一优化问题，ADMM 算法首先对目标函数进行增广，将原始优化问题转化为：

$$\begin{array}{rl}& \underset{\mathit{x},\mathit{z}}{min}{Q}_{\rho }(\mathit{x},\mathit{z})=f(\mathit{x})+g(\mathit{z})+\frac{\rho }{2}||\mathit{A}\mathit{x}+\mathit{B}\mathit{z}-\mathit{c}|{|}_2^2\\ & s.t.\mathit{A}\mathit{x}+\mathit{B}\mathit{z}=\mathit{c}\end{array}$$

其中，$\rho$ 为某参数。

进一步，上述问题的拉格朗日函数式子为：

$$\begin{array}{rl}{L}_{\rho }(\mathit{x},\mathit{z},\mathit{\lambda })& =Q_{\rho }(\mathit{x},\mathit{z})+{\mathit{\lambda }}^T(\mathit{A}\mathit{x}+\mathit{B}\mathit{z}-\mathit{c})\\ & =f(\mathit{x})+g(\mathit{z})+\frac{\rho }{2}||\mathit{A}\mathit{x}+\mathit{B}\mathit{z}-\mathit{c}|{|}_2^2+{\mathit{\lambda }}^T(\mathit{A}\mathit{x}+\mathit{B}\mathit{z}-\mathit{c})\end{array}$$

其中，$\mathit{\lambda }\in {\mathbb{R}}^k$ 为拉格朗日乘子（向量）。

接下来，通过如下更新步骤进行迭代（第 $k$ 步更新）直至收敛：

1. 更新 $\mathit{x}$ ： ${\mathit{x}}^{(k)}=\arg \underset{\mathit{x}}{min}{L}_{\rho }(\mathit{x},{\mathit{z}}^{(k-1)},{\mathit{\lambda }}^{(k-1)})$

2. 更新 $\mathit{z}$ ： ${\mathit{z}}^{(k)}=\arg \underset{\mathit{z}}{min}{L}_{\rho }({\mathit{x}}^{(k)},\mathit{z},{\mathit{\lambda }}^{(k-1)})$

3. 更新 $\mathit{\lambda }$ ： ${\mathit{\lambda }}^{(k)}={\mathit{\lambda }}^{(k-1)}+\rho (\mathit{A}{\mathit{x}}^{(k)}+\mathit{B}{\mathit{z}}^{(k)}-\mathit{c})$

上述推导过程及更新步骤都非常清晰。但是，跟最初的优化问题什么关系、如何对应、以及思路，仍然不清楚。下面将继续展开介绍。

2.