摘要：
罚函数法又称乘子法，是将约束优化问题转换为无约束最优化问题的方法之一。其基本思想就是通过在原始的目标函数中添加一个障碍函数（也可以理解成惩罚函数）来代替约束条件中的不等式约束。如果当前解不满足约束条件，就在目标项上加上一个正向的惩罚（这里考虑的都是最小化问题），强迫当前解往可行域的方向走。至于正向惩 阅读全文
摘要：
库恩塔克条件(Kuhn-Tucker conditions)是非线性规划领域里最重要的理论成果之一，是确定某点为极值点的必要条件。如果所讨论的规划是凸规划，那么库恩-塔克条件也是充分条件。本文不对数学公式进行详细推导，而是从直观上对KT条件进行理解。 一、带有不等式约束的模型 \[ \min f(X 阅读全文
摘要：
对非线性规划来说，大多数情况下我们是不可能无限制求其理想情况下的最优值的，总是存在一些约束生成了一部分可行解域。从机器学习上来说，我们的可行解域就被限制住了，直接求解起来事实上是有一定困难的，我们更希望求解的是无约束的优化问题，就衍生出拉格朗日乘子法。拉格朗日乘子法主要用于解决约束优化问题，它的基本 阅读全文