非线性规划【复习笔记】

一、基本概念

(一)、非线性规划数学模型

非线性规划数学模型的一般形式是:

{minf(X)hi(X)=0(i=1,2,,m)gj(X)0(j=1,2,,l)

其中,X=(x1,x2,,xn)Tn维欧氏空间En中的点。

(二)定义

f(X)为定义在n维欧氏空间En的某一区域R上的n元实函数。

1.局部极小点与严格局部极小点

对于XR,如果存在某个ϵ>0,使所有与X的距离小于ϵXR都有f(X)f(X),则称Xf(X)R上的局部极小点。

取不等号则为严格局部极小点。

2.全局极小值与严格全局极小值

若存在XR,对所有XR都有f(X)f(X),则称Xf(X)R上的全局极小点。

取不等号则为严格全局极小值。

(三)多元函数极值点存在的条件

1.必要条件

定理1 f(X)R上有连续一阶偏导数,且在点XR去的局部极值,则必有:

f(X)=(f(x)x1,f(x)x2,,f(x)xn)T=0

梯度f(X)的两个重要性质:

(1)f(X)在某点的梯度必与函数过该点的等值面(等值线)正交
(2)梯度向量的方向是函数值增加最快的方向。

2.二次项

对于X=(x1,x2,,xn)T的二次型f(X)=XTAX

(1)判断实二次型正定的充要条件:各阶主子式都大于0

(2)多元函数的泰勒公式

f(X(0)+P)=f(X(0))+f(X(0))TP+12PT2f(X(0)+θP)

(3)极小点的充分条件

定理2 若f(X)=0,且2f(X)正定,则该点为严格局部极小点。

黑塞矩阵2f(X)=image

此处黑塞矩阵正定->负定,严格局部极小点->严格局部极大点。

(四)凸函数和凹函数

1.定义

凸函数:

f(X)为定义在n维欧氏空间En中某个凸集Rc上的函数,若对任何实数α(0<α<1)以及Rc中的任意两点X(1)X(2),恒有

f(αX(1)+(1α)X(2))αf(X(1))+(1α)f(X(2))

则称f(X)Rc上的凸函数。

取不等号为严格凸函数。

2.凸函数性质(省略)

性质1 有限个凸函数的非负线性组合β1f1(X)+β2f2(X)++βmfm(X)仍为凸函数
性质2 设f(X)为定义在凸集Rc上的凸函数,则集合Sβ={X|XRc,f(X)β}是凸集

3.凸函数判定

(1)一阶条件

严格凸函数充要条件:

f(X(2))f(X(1))+f(X(1))T(X(2)X(1))

(2)二阶条件

RcEn上的开凸集,f(X)Rc上二阶可微,则凸函数的充要条件是:对所有XR,其黑塞矩阵半正定

4.凸函数的极值

定义在凸集上的凸函数,其任一极小值就等于其最小值。他的极小点形成一个凸集。

在这种情况下,f(X)=0不仅是极值点存在的必要条件,更是充分条件(充要)。

(五)凸规划

对于一非线性规划式,若f(X)为凸函数,gj(X)均为凹函数(gj(X)为凸函数),则称这种规划为凸规划。

1.凸规划的性质

(1)可行解集为凸集
(2)最优解集为凸集(假设存在)
(3)任何局部最优解也是其全局最优解
(4)若目标函数为严格凸函数,且最优解存在,则最优解唯一。

(六)下降迭代算法

1.定义

对于极小化问题,我们要求由选取的解序列X(k)其对应的目标函数值是逐步见效的,即满足:

f(X(0))>f(X(1))>>f(X(k))>

2.下降迭代算法的一般迭代格式

(1)选取某一初始点X(0),令k:=0
(2)确定搜索方向,从X(k)出发确定搜索方向P(k),并检查是否是可行点(约束极值问题)
(3)确定步长,找到

X=X(k)+λP(k),λ0

满足

f(X(k+1))=f(X(k)+λkP(k))<f(X(k))

其中λk为步长因子。
(4)检验新得到的点是否为要求的极小点或近似极小点,否则令k:=k+1

3.一维搜索的性质

若迭代算法是求以λ为变量的一元函数的极小点λk,则称这一过程为(最优)一维搜索/线搜索。

一维搜索在搜索方向上的最优点处满足:该点梯度与该搜索方向正交,即

f(X(k+1))TP(k)=0

二、一维搜索

posted @   SxtoxA  阅读(125)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· 没有源码,如何修改代码逻辑?
· PowerShell开发游戏 · 打蜜蜂
· 在鹅厂做java开发是什么体验
· WPF到Web的无缝过渡:英雄联盟客户端的OpenSilver迁移实战
12 13
点击右上角即可分享
微信分享提示