摘要：由于在线性规划问题中，目标函数和约束函数的黑塞矩阵都是正定的，所以线性规划都是凸规划，因此只要可行域有界，则必有最优解。由于线性函数的Hesse矩阵都是零矩阵，因而都是半正定的，所以线性规划都是凸规划。线性规划都是凸规划，所以其可行解集是凸集，最优解集是凸集。（1）线性规划问题的最优解在可行域非空且... 阅读全文

摘要：求优化问题(P) min f(x),当D为凸集，且函数f(x)为凸函数，则称该规划为凸规划。什么是凸集：点集中任意两点的连线都属于D,则D是凸集：凸集是单点或一条不间断的线（包括直线、射线、线段）；二、三维空间中的凸集就是直观上凸的图形。（例如：在二维中有扇面、圆、椭圆等，在三维中有实心球体等；多数... 阅读全文

摘要：最速下降法采用负梯度方向进行一维搜索，总体上看搜索速度应该是比较快，但是当迭代进行到靠近精确最优点时，会出现锯齿形搜索路径，这样就会大大降低搜索效率，所以通常在搜索前期采用最速下降法，当接近精确最优解时，改用牛顿法等其他在最优解附近搜索效率更高的方法。但是牛顿法也有缺点：一方面需要计算Hesse矩阵... 阅读全文