摘要：
不动点迭代(Fixed-point iteration) (不动点) $x$为单值算子$\mathbb{T}$的不动点，如果$$\mathbb{T} x =x$$ 记$\text{Fix} \mathbb{T}=\{x|x=\mathbb{T}x\}=(\mathbb{I}-\mathbb{T})^ 阅读全文
摘要：
人生是用来体验的，不是用来演绎完美的，我慢慢接受自己的迟钝和平庸，允许自己出错，允许自己而尔断电，带着遗憾拼命绽放，这是与自己达成和解的唯一办法，希望大家能放下焦虑，和不完美的自己和解，然后去爱那个完整的自己。 阅读全文
摘要：
可微凸优化临近点梯度法 求解约束优化问题： \begin{align*} \mathop{min}\limits_{x} & \quad f(x)\\ s.t. & \quad x \in S \end{align*} 其中，$f$是可微凸函数，$S$是凸集合。这个问题等价于: \begin{ali 阅读全文
摘要：
罚函数法 求解约束优化问题： \begin{align*} \mathop{min}\limits_{x} & \quad f(x)\\ s.t. & \quad x \in S \end{align*}其中，$f$是连续函数。可以采用罚函数法将约束优化问题转变为无约束优化问题，具体方法是对目标函数 阅读全文
摘要：
次梯度算法： 梯度下降法的迭代格式为$$x_{k+1}=x_k-\alpha_k\nabla f(x_k)$$ 但是对于不可微的凸函数，梯度并不存在，于是使用此梯度算法： $$x_{k+1}=x_k-\alpha_k g_k)$$其中$g_k\in \partial f(x_k)$ 次梯度算法的收敛 阅读全文
摘要：
梯度下降法 对于无约束最优化问题：$$\mathop{min}_{x} f(x)$$其中$f$是可微函数,梯度下降法的更新方式如下: $$x_{k+1}=x_k-\alpha_k\nabla f(x_k)$$ 步长$\alpha_k$有多种选择方式，普通的梯度法就选择固定步长$\alpha$。 下面 阅读全文
摘要：
共轭方向法: Def1(共轭)：给定一个对称矩阵$Q$，如果向量$d_1,d_2$满足：$$d_1^\top Q d_2=0$$，则称$d_1,d_2$为$Q$正交，或关于$Q$共轭。 注：通常考虑$Q$是对称正定的；如果$Q=I$，则共轭$\iff$正交；如果非零向量组$\{d_0,d_1\dot 阅读全文
摘要：
1 import numpy as np 2 import matplotlib.pyplot as plt 3 plt.rcParams['font.sans-serif']=['Microsoft YaHei'] 4 5 def f(y): #目标函数 6 f_x=y[0]**2+10*y[1] 阅读全文
摘要：
经典牛顿法： 首先，设$f(x)$二阶连续可微，则在迭代算法中第$k$步，$x_k$处泰勒展开： $$f(x_k+d_k)=f(x_k)+\nabla f(x_k)^Td_k+\frac{1}{2}(d_k)^T\nabla^2f(x_k)d_k+o(\Vert d_k \Vert^2)$$ 如果忽 阅读全文