摘要：
三角不等式柯西-施瓦茨不等式 任意两向量x,y∈Rn,有：成立；当且仅对有常数a,x=ay时，等式成立。 阅读全文
摘要：
1.对偶线性规划每个对偶问题都有一个与之对应的对偶问题，形式：1.1等式约束转不等式约束1.2对称、非对称形式对偶关系非对称的没有>=0约束1.3弱对偶定理对偶问题不大于原问题弱对偶定理可得出最优解的情况：1.4... 阅读全文
摘要：
1等式约束形式3切线空间、法线空间切线空间和法线空间互补。4拉格朗日中值定理条件标量λ称为拉格朗日乘子；图中x*在集合h(x)=0中，x*处h(x)的梯度与f(x)的梯度平行。4.1拉格朗日条件是必要条件但不是充... 阅读全文
摘要：
1一般形式1.1起作用、不起作用约束1.2KKT条件在上面的包含等式、不等式的约束形式下：分析：u和g(x*)至少一个为0，既g起作用时u可以>=0，g不起作用时u=0几何解释：总结：g>=0的情况：u与g方向上... 阅读全文
摘要：
1.形式2.投影法通常迭代形如：2.1当有约束时，这类算法迭代出的点很可能不满足约束，可以使用投影形式，然点投影到约束内，u,l为约束范围：这样对上面的迭代形式进行改进，然每次迭代后的点保持在约束内：2.2投影梯... 阅读全文
摘要：
1凸函数、凸集定义2.凸函数性质1）定义2）线性关系3）严格凸函数4）凹函数与凸函数性质相反5）判定二阶导>0/正定，凸函数；<0/负半定，凹函数。6）凸优化中，局部极小点就是全局极小点。 ... 阅读全文
摘要：
1.背景其它类型如极大化所有目标可以转换成上面类型。 2.帕累托解帕累托点：在所有函数上，没有其它解在比他更优（没有点支配它）。帕累托前沿：帕累托点组成的集合面。3.帕累托前沿求解帕累托解并不是一个，整个前沿面都... 阅读全文
摘要：
目录1.简介2.数学背景3.推导4.联合概率5.求参、极大似然 6.参数求解：7.牛顿法、拟牛顿法、梯度下降法等求参：牛顿法：梯度下降法8.完整流程9.正则化10.多元逻辑回归11.scikit-learn中逻... 阅读全文
摘要：
1. 简单线性回归只有一个未知数x，两个参数的，称为简单线性回归，一条直线。此时不需要线性代数概念，直接迭代求解，形如：1.1 表示形式1.2 定义损失1.3 求参，极大似然2.多元线性回归2.1形式2.2误差2... 阅读全文