摘要:
三角不等式柯西-施瓦茨不等式 任意两向量x,y∈Rn,有:成立;当且仅对有常数a,x=ay时,等式成立。 阅读全文
摘要:
1.背景其它类型如极大化所有目标可以转换成上面类型。 2.帕累托解帕累托点:在所有函数上,没有其它解在比他更优(没有点支配它)。帕累托前沿:帕累托点组成的集合面。3.帕累托前沿求解帕累托解并不是一个,整个前沿面都... 阅读全文
摘要:
1.形式2.投影法通常迭代形如:2.1当有约束时,这类算法迭代出的点很可能不满足约束,可以使用投影形式,然点投影到约束内,u,l为约束范围:这样对上面的迭代形式进行改进,然每次迭代后的点保持在约束内:2.2投影梯... 阅读全文
摘要:
1凸函数、凸集定义2.凸函数性质1)定义2)线性关系3)严格凸函数4)凹函数与凸函数性质相反5)判定二阶导>0/正定,凸函数;<0/负半定,凹函数。6)凸优化中,局部极小点就是全局极小点。 ... 阅读全文
摘要:
1一般形式1.1起作用、不起作用约束1.2KKT条件在上面的包含等式、不等式的约束形式下:分析:u和g(x*)至少一个为0,既g起作用时u可以>=0,g不起作用时u=0几何解释:总结:g>=0的情况:u与g方向上... 阅读全文
摘要:
1等式约束形式3切线空间、法线空间切线空间和法线空间互补。4拉格朗日中值定理条件标量λ称为拉格朗日乘子;图中x*在集合h(x)=0中,x*处h(x)的梯度与f(x)的梯度平行。4.1拉格朗日条件是必要条件但不是充... 阅读全文
摘要:
1.对偶线性规划每个对偶问题都有一个与之对应的对偶问题,形式:1.1等式约束转不等式约束1.2对称、非对称形式对偶关系非对称的没有>=0约束1.3弱对偶定理对偶问题不大于原问题弱对偶定理可得出最优解的情况:1.4... 阅读全文
摘要:
目录1.简介2.数学背景3.推导4.联合概率5.求参、极大似然 6.参数求解:7.牛顿法、拟牛顿法、梯度下降法等求参:牛顿法:梯度下降法8.完整流程9.正则化10.多元逻辑回归11.scikit-learn中逻... 阅读全文
摘要:
1. 简单线性回归只有一个未知数x,两个参数的,称为简单线性回归,一条直线。此时不需要线性代数概念,直接迭代求解,形如:1.1 表示形式1.2 定义损失1.3 求参,极大似然2.多元线性回归2.1形式2.2误差2... 阅读全文