摘要： 数学优化方法在机器学习算法中至关重要，本篇博客主要来简单介绍下Conjugate Gradient(共轭梯度法，以下简称CG)算法，内容是参考的文献为：An Introduction to the Conjugate Gradient Method Without the Agonizing Pain，具体细节大家还需仔细阅读那篇文章，这篇博客并不是重现那篇论文的内容，只是简单的梳理下CG算法的流程，以及它的重要思路，方便大家理解CG算法。 首先我们需要解决的问题是：求满足线性方程(1)：的解x. 那么有人就这么认为了：这个解x不就是吗？对，这样说也不能算错，但是如果A不可逆那么x这样... 阅读全文