摘要：
考虑一个函数$y=f(\textbf{x}) (R^n\rightarrow R)$，y的Hessian矩阵定义如下： 考虑一个函数:$$f(x)=b^Tx+\frac{1}{2}x^{T}Ax\\其中b^T=[1,3,5], A在代码中可读，可以自定义$$ 求该函数在x = [0,0,0]处海森矩 阅读全文
摘要：
考虑一个向量值函数$R^m \rightarrow R^n$，即$\textbf{y} = f(\textbf{x})$，它的雅各比(Jacobian)矩阵定义如下。 下面记录下一段使用python求向量值函数Jacobian矩阵的代码，只有向量值函数可用，如果为标量函数则会报错。 这里我们以$x= 阅读全文
摘要：
https://www.cnblogs.com/marsggbo/p/11549631.html 阅读全文
摘要：
首先简介梯度法的原理。首先一个实值函数$R^{n} \rightarrow R$的梯度方向是函数值上升最快的方向。梯度的反方向显然是函数值下降的最快方向，这就是机器学习里梯度下降法的基本原理。但是运筹学中的梯度法略有不同，表现在步长的选择上。在确定了梯度方向(或反方向)是我们优化目标函数值的方向后， 阅读全文
摘要：
运筹学课上，首先介绍了非线性规划算法中的无约束规划算法。二分法和黄金分割法是属于无约束规划算法的一维搜索法中的代表。 二分法:$$x_{1}^{(k+1)}=\frac{1}{2}(x_{R}^{(k)}+x_{L}^{(k)}-\Delta)$$$$x_{2}^{(k+1)}=\frac{1}{2 阅读全文