jj千寻 - 博客园

摘要： 1.形式2.投影法通常迭代形如：2.1当有约束时，这类算法迭代出的点很可能不满足约束，可以使用投影形式，然点投影到约束内，u,l为约束范围：这样对上面的迭代形式进行改进，然每次迭代后的点保持在约束内：2.2投影梯... 阅读全文

posted @ 2019-02-19 09:38 jj千寻阅读(221) 评论(0) 推荐(0) 编辑

摘要： 1. 简单线性回归只有一个未知数x，两个参数的，称为简单线性回归，一条直线。此时不需要线性代数概念，直接迭代求解，形如：1.1 表示形式1.2 定义损失1.3 求参，极大似然2.多元线性回归2.1形式2.2误差2... 阅读全文

posted @ 2019-02-19 09:37 jj千寻阅读(321) 评论(0) 推荐(0) 编辑

摘要：目录1.简介2.数学背景3.推导4.联合概率5.求参、极大似然 6.参数求解：7.牛顿法、拟牛顿法、梯度下降法等求参：牛顿法：梯度下降法8.完整流程9.正则化10.多元逻辑回归11.scikit-learn中逻... 阅读全文

posted @ 2019-02-19 09:37 jj千寻阅读(444) 评论(0) 推荐(0) 编辑

摘要： 1.最小二乘分析1.1最小向量求解1）几何分析：2）求导2.递推最小二乘法对不断加入的新的数据，更新参数。某个问题是寻找合适的x让最小，用前面的可以求得x*。如果增加了新的数据，用A1和b1表示，那么现在整个问题... 阅读全文

posted @ 2019-02-18 10:43 jj千寻阅读(204) 评论(0) 推荐(0) 编辑

摘要： 1.基本思想1.1基本缺陷需要计算黑塞矩阵，需要求矩阵的逆运算1.2拟牛顿法思想构造黑塞矩阵的逆的近似：拟牛顿法中，如果找到合适的近似构造矩阵Hk，在迭代中就不需要任何黑塞矩阵，及线性方程逆运算的计算工作了。1.... 阅读全文

posted @ 2019-02-18 10:26 jj千寻阅读(162) 评论(0) 推荐(0) 编辑

摘要： 1.共轭方向法效率位于最速下降和牛顿法之间，优点：1.1共轭：关于对称实矩阵Q共轭关于对称正定矩阵Q共轭1.2基本共轭方向算法流程：n步之内收敛到全局极小点，证明：10.11.3共轭方向的迭代，每次ak都是最佳步... 阅读全文

posted @ 2019-02-18 10:22 jj千寻阅读(556) 评论(0) 推荐(0) 编辑

摘要：牛顿法用到了目标函数的1、2阶导数，可能会更高效。1.思想：构造目标函数的近似函数：1.2泰勒展开到二阶，可以得到函数f(x)的近似函数：1.3对近似函数q(x)求极小值，得到迭代形式：1.4流程：2.二次型中牛... 阅读全文

posted @ 2019-02-18 10:12 jj千寻阅读(163) 评论(0) 推荐(0) 编辑

摘要： 1.梯度迭代a>0时，负梯度方向，是函数值下降方向1.1梯度下降法当接近极小值时，梯度接近0，通用形式如下，有一些具体实现：1）最速下降法梯度下降的一种具体实现，理念是在每次迭代时，选择最佳合适的步长ak,使得目... 阅读全文

posted @ 2019-02-18 10:08 jj千寻阅读(247) 评论(0) 推荐(0) 编辑

摘要：讨论的是函数为一元的单值函数1.黄金分割法期望按照比例压缩查找区间，逼近极小点：按照这类比例压缩，不断取值比较左右点大小，缩小区间范围，直到逼近。2.斐波那契数列：和黄金分割类似，只是比例按照斐波那契数列的规则... 阅读全文

posted @ 2019-02-18 10:02 jj千寻阅读(234) 评论(0) 推荐(0) 编辑

摘要： 1.无约束形式f(x)为价值/目标函数1.1极小点2.局部极小点条件2.1可行方向2.2可行方向上的导数：2.3可行方向上的增长率/方向导数2.4一阶必要条件1）在约束集上：方向导数>=02）在约束集内：梯度=0... 阅读全文

posted @ 2019-02-18 09:44 jj千寻阅读(214) 评论(0) 推荐(0) 编辑

425776024