摘要：
1.最小二乘分析1.1最小向量求解1）几何分析：2）求导2.递推最小二乘法对不断加入的新的数据，更新参数。某个问题是寻找合适的x让最小，用前面的可以求得x*。如果增加了新的数据，用A1和b1表示，那么现在整个问题... 阅读全文
摘要：
1.基本思想1.1基本缺陷需要计算黑塞矩阵，需要求矩阵的逆运算1.2拟牛顿法思想构造黑塞矩阵的逆的近似：拟牛顿法中，如果找到合适的近似构造矩阵Hk，在迭代中就不需要任何黑塞矩阵，及线性方程逆运算的计算工作了。1.... 阅读全文
摘要：
1.共轭方向法效率位于最速下降和牛顿法之间，优点：1.1共轭：关于对称实矩阵Q共轭关于对称正定矩阵Q共轭1.2基本共轭方向算法流程：n步之内收敛到全局极小点，证明：10.11.3共轭方向的迭代，每次ak都是最佳步... 阅读全文
摘要：
牛顿法用到了目标函数的1、2阶导数，可能会更高效。1.思想：构造目标函数的近似函数：1.2泰勒展开到二阶，可以得到函数f(x)的近似函数：1.3对近似函数q(x)求极小值，得到迭代形式：1.4流程：2.二次型中牛... 阅读全文
摘要：
1.梯度迭代a>0时，负梯度方向，是函数值下降方向1.1梯度下降法当接近极小值时，梯度接近0，通用形式如下，有一些具体实现：1）最速下降法梯度下降的一种具体实现，理念是在每次迭代时，选择最佳合适的步长ak,使得目... 阅读全文
摘要：
讨论的是函数为一元的单值函数1.黄金分割法期望按照比例压缩查找区间，逼近极小点： 按照这类比例压缩，不断取值比较左右点大小，缩小区间范围，直到逼近。2.斐波那契数列：和黄金分割类似，只是比例按照斐波那契数列的规则... 阅读全文
摘要：
1.无约束形式f(x)为价值/目标函数1.1极小点2.局部极小点条件2.1可行方向2.2可行方向上的导数：2.3可行方向上的增长率/方向导数2.4一阶必要条件1）在约束集上：方向导数>=02）在约束集内：梯度=0... 阅读全文
摘要：
1.极限、收敛、有界2.可微性 3.矩阵导数3.1矩阵的导数/雅可比矩阵：Df(x0):3.2梯度:雅可比的转置3.3梯度的导数/黑塞矩阵F(x)二次连续可微，黑塞矩阵对称4.微分法则h(t)=g(f(t)): ... 阅读全文
摘要：
1.线段x和y之间的线段可以表示为：{ax+(1-a)y:a∈[0,1]}2.超平面与线性簇：超平面可以写成：{x∈Rn:uTx=v} , u=[u1,u2,...,un]T,超平面把空间Rn划分 成uTx=v的... 阅读全文
摘要：
线性变换：Y=Ax 相似： 特征值、特征向量： 对称阵：A=AT、实对称矩阵:特征值都是实数，特征向量相互正交 正交矩阵： 正交投影 二次型：f(x)=，正负定、半正负定 西尔维斯特准则：正定，当且仅当Q顺序主... 阅读全文