非线性规划【复习笔记】
一、基本概念
(一)、非线性规划数学模型
非线性规划数学模型的一般形式是:
其中,是维欧氏空间中的点。
(二)定义
设为定义在维欧氏空间的某一区域上的元实函数。
1.局部极小点与严格局部极小点
对于,如果存在某个,使所有与的距离小于的都有,则称为在上的局部极小点。
取不等号则为严格局部极小点。
2.全局极小值与严格全局极小值
若存在,对所有都有,则称为在上的全局极小点。
取不等号则为严格全局极小值。
(三)多元函数极值点存在的条件
1.必要条件
定理1 在上有连续一阶偏导数,且在点去的局部极值,则必有:
梯度的两个重要性质:
(1)在某点的梯度必与函数过该点的等值面(等值线)正交
(2)梯度向量的方向是函数值增加最快的方向。
2.二次项
对于的二次型。
(1)判断实二次型正定的充要条件:各阶主子式都大于
(2)多元函数的泰勒公式
(3)极小点的充分条件
定理2 若,且正定,则该点为严格局部极小点。
黑塞矩阵=
此处黑塞矩阵正定->负定,严格局部极小点->严格局部极大点。
(四)凸函数和凹函数
1.定义
凸函数:
设为定义在维欧氏空间中某个凸集上的函数,若对任何实数以及中的任意两点和,恒有
则称为上的凸函数。
取不等号为严格凸函数。
2.凸函数性质(省略)
性质1 有限个凸函数的非负线性组合仍为凸函数
性质2 设f(X)为定义在凸集上的凸函数,则集合是凸集
3.凸函数判定
(1)一阶条件
严格凸函数充要条件:
(2)二阶条件
设为上的开凸集,在上二阶可微,则凸函数的充要条件是:对所有,其黑塞矩阵半正定
4.凸函数的极值
定义在凸集上的凸函数,其任一极小值就等于其最小值。他的极小点形成一个凸集。
在这种情况下,不仅是极值点存在的必要条件,更是充分条件(充要)。
(五)凸规划
对于一非线性规划式,若为凸函数,均为凹函数(为凸函数),则称这种规划为凸规划。
1.凸规划的性质
(1)可行解集为凸集
(2)最优解集为凸集(假设存在)
(3)任何局部最优解也是其全局最优解
(4)若目标函数为严格凸函数,且最优解存在,则最优解唯一。
(六)下降迭代算法
1.定义
对于极小化问题,我们要求由选取的解序列其对应的目标函数值是逐步见效的,即满足:
2.下降迭代算法的一般迭代格式
(1)选取某一初始点,令
(2)确定搜索方向,从出发确定搜索方向,并检查是否是可行点(约束极值问题)
(3)确定步长,找到
满足
其中为步长因子。
(4)检验新得到的点是否为要求的极小点或近似极小点,否则令
3.一维搜索的性质
若迭代算法是求以为变量的一元函数的极小点,则称这一过程为(最优)一维搜索/线搜索。
一维搜索在搜索方向上的最优点处满足:该点梯度与该搜索方向正交,即
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· 没有源码,如何修改代码逻辑?
· PowerShell开发游戏 · 打蜜蜂
· 在鹅厂做java开发是什么体验
· WPF到Web的无缝过渡:英雄联盟客户端的OpenSilver迁移实战