交替方向乘子法（Alternating Direction Method of Multipliers）
作者：凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailugaji/
1. 交替方向乘子法简介——Alternating Direction Method of Multipliers
ADMM 最早分别由 Glowinski & Marrocco 及 Gabay & Mercier 于 1975 年和 1976 年提出，并被 Boyd 等人于 2011 年重新综述并证明其适用于大规模分布式优化问题。
由于 ADMM 的提出早于大规模分布式计算系统和大规模优化问题的出现，所以在 2011 年以前，这种方法并不广为人知。
交替方向乘子法（Alternating Direction Method of Multipliers，ADMM）是一种求解具有可分离的凸优化问题的计算框架, 由于其处理速度快，收敛性能好，ADMM适用于求解分布式凸优化问题，特别是统计学习问题。 主要应用在解空间规模很大的情况，强制分块求解，而且解的绝对精度要求不是太高。
ADMM以先分解再结合的形式求解问题，即先把原问题分解成若干个相对原问题较简单的子问题，再把子问题的解结合起来得到原问题的全局解。
ADMM也可以看作是对偶分解法和增广拉格朗日乘子法的结合，使该算法有分解性的同时保证了良好的收敛性。
2. 对偶上升法——Dual Ascent
3. 共轭函数与对偶函数——Conjugate Function and Dual Function
4. 对偶分解——Dual Decomposition
5. 增广拉格朗日乘子法——Augmented Lagrangians and the Method of Multipliers
6. 交替方向乘子法——ADMM
7. 尺度化后的交替方向乘子法——Scaled Form
总结：对偶上升法可分解，适合并行化，但要求严格凸，强对偶。增广拉格朗日放宽严格凸的限制，但无法并行化。交替方向乘子法结合了两者，既不要求严格凸，又可以并行化分布式计算。
8. 参考文献
[1] Boyd S , Parikh N , Chu E , et al. Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers[J]. Foundations and Trends in Machine Learning, 2011, 3(1):1-122.
[2] 陈庆国. 关于交替方向乘子法一些问题的研究[D].中国计量大学,2018.
[3] 交替方向乘子法（ADMM） - 凯鲁嘎吉 - 博客园
[4] ADMM: http://web.stanford.edu/~boyd/admm.html
[5] Stephen Boyd, Lieven Vandenberghe. Convex Optimization[M]. 世界图书出版公司, 2004.
[7] ADMM的改进版本：利用Bregman散度来代替二范数正则项。Huahua Wang and Arindam Banerjee. 2014. Bregman alternating direction method of multipliers. In Proceedings of the 27th International Conference on Neural Information Processing Systems - Volume 2 (NIPS'14). MIT Press, Cambridge, MA, USA, 2816–2824.
